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关于 本 书 


基于 经 验 的 机 器 学 习 往 往 很 困 
难 。 完 整 的 信息 往往 是 不 可 用 的 ,或 
者 在 一 段 时 间 内 零碎 信息 可 能 有 用 。 
关于 系统 性 学 习 ， 需 要 理解 在 一 段 时 
间 内 决策 和 动作 对 系统 的 影响 。 本 书 
给 出 了 一 个 全 面 的 方法 来 处 理 这 种 需 
求 ， 并 呈现 了 新 的 范例 一 一 建立 新 的 
学 习 应 用 并 最 终 建 立 更 多 智能 机 器 算 
> 

本 书 侧重 于 机 器 学 习 和 系统 性 机 
器 学 习 的 专业 研究 领域 ， 它 处 理 了 强 
化 学 习 及 其 应 用 、 增 量 机 器 学 习 、 重 
复 性 故障 校正 机 制 和 多 视角 决策 。 

本 书 内 容 包括 : 

@ 强化 与 系统 性 机 器 学 习 简 介 ; 

@ 全 局 系统 、 系 统 性 和 多 视角 机 
器 学 习 基 础 ，; 

@ 系统 性 机 器 学 习 及 其 建 模 ; 

@ 推理 和 信息 集成 ; 

@ 自 适 应 学 习 ; 

@ 增 量 学 习 和 知识 表示 ; 

@ 知识 增长 : 机 器 学 习 视角 ; 

@ 建立 一 个 学 习 系 统 。 

潜在 的 范例 在 更 多 领域 中 应 用 ， 
机 器 学 习 和 系统 性 学 习 领 域 的 学 者 将 


会 认为 这 是 一 份 宝贵 的 资料 。 
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机 器 学 习 是 人 工 智能 领域 中 一 个 极其 重要 的 研究 方向 。 强 化 学 习 是 机 
需 学 习 中 的 一 个 重要 分 支 。 作 为 解决 序 贯 优化 决策 的 有 效 方法 ， 强 化 学 习 
有 效 地 应 用 于 计算 科学 、 自 动 控制 、 机 器 人 技术 等 各 个 领域 。 

当前 ， 强 化 学 习 的 核心 任务 是 提高 学 习 效 率 ， 本 书 就 是 针对 此 问题 展 
开 的 。 第 1 章 介绍 系统 概念 和 增强 机 器 学 习 ， 它 建立 了 一 个 突出 的 相同 的 
机 噩 学习 系统 范例 ; 第 2 章 将 更 多 关注 机 器 学 习 的 基本 原理 和 多 视角 学 
习 ; 第 3 章 关 于 强化 学 习 ; 第 4 章 处 理 机 器 学 习 系 统 和 模型 建立 的 问题 ; 
决策 推理 等 重要 的 部 分 将 在 第 5 章 展开 ; 第 6 章 讨论 了 自 适 应 机 器 学 习 ; 
第 7 章 讨论 了 多 视角 和 全 局 系统 性 机 器 学 习 ; 第 8 章 讨 论 了 增 量 学 习 的 需 
要 和 知识 表示 ; 第 9 章 处 理 了 知识 增长 方面 的 问题 ; 第 10 章 讨论 了 学 习 
系统 的 建立 。 

本 书 适合 于 机 器 学 习 、 自 动 化 技术 、 人 工 智 能 等 方面 的 相关 专业 教师 
与 研究 生 阅 读 ， 也 可 供 自 然 科 学 和 工程 领域 相关 研究 人 员 人 参考。 








































































































详 者 洒 


进入 21 世纪 以 来 ， 人 们 对 机 器 学 习 (machine learning) 的 期 望 与 日 俱 增 。 
十 年 前 所 想 的 智能 系统 如 今 只 是 被 认为 是 个 普通 系统 而 已 。 人 们 都 希望 机 器 变 得 
更 加 智能 ， 能 自主 地 学 习 并 具备 高 效 的 解决 日 常 问 题 的 复杂 行为 的 能 力 。 机 器 学 
习 的 应 用 不 局 限于 一 种 特定 的 领域 ， 而 是 分 布 在 所 有 领域 。 

强化 学 习 (reinforcement learning， 又 称 再 励 学 习 、 评 价 学 习 ) 是 一 种 重要 的 
机 器 学 习 方 法 ， 在 智能 控制 机 器 人 及 分 析 预 测 等 领域 有 许多 应 用 。 但 在 传统 的 机 
器 学 习 分 类 中 没有 提 到 过 强化 学 习 ， 而 在 连接 主义 学 习 中 ， 把 学 习 算法 分 为 三 种 
类 型 ， 即 非 监 督学 习 (unsupervised learning) 、 监 督学 习 (supervised leaning) 和 
强化 学 习 。 

强化 学 习 由 统计 学 、 控 制 理论 、 心 理学 等 相关 学 科 发 展 而 来 ， 经 过 多 年 的 发 
展 ， 已 经 成 为 解决 序 贯 优化 决策 的 一 种 有 效 方法 。 所 谓 强化 学 习 就 是 智能 系统 从 
环境 到 行为 映射 的 学 习 ， 以 使 奖励 信号 (强化 信号 ) 函数 值 最 大 。 强 化 学 习 中 
由 环境 提供 的 奖励 信号 是 对 产生 动作 的 好 坏 做 一 种 评价 ， 并 非 直接 告诉 强化 学 习 
系统 (reinforcement learning system) 如 何 去 执 行 正 确 的 动作 。 由 于 外 部 环境 提供 
的 信息 很 少 ， 强 化 学 习 系 统 必 须 靠 自身 的 经 验 知识 进 行 学 习 。 通 过 这 种 方式 ， 强 
化 学 习 系 统 在 动作 一 评价 的 环境 中 获得 知识 ， 改 进行 动 方案 以 适应 环境 。 

这 是 一 本 全 面 讨 论 强化 学 习 与 系统 性 学 习 的 书籍 ， 适 合 于 机 器 学 习 、 自 动 化 
技术 、 人 工 智 能 等 方面 的 相关 专业 教师 与 研究 生 阅 读 ， 也 可 供 自 然 科 学 和 工程 领 
域 相关 研究 人 员 参 考 。 本 书包 括 强 化 的 不 同方 面 ， 通 过 机 器 学 习 来 建立 知识 库 。 
本 书 有 助 于 计划 通过 智能 学 习 和 实验 做 出 智能 机 器 的 人 并 尝试 新 的 方式 ， 打 开 一 
种 相同 的 新 范例 。 本 书 第 1 章 主要 介绍 系统 概念 ， 如 机 器 学 习 、 强 化 学 习 、 系 统 
学 习 、 系 统 性 机 器 学 习 等 ; 第 2 章 主要 介绍 系统 性 和 多 视角 的 机 器 学 习 ; 第 3 ~9 
章 主 要 介绍 本 书 的 主要 内 容 一 一 决策 用 强化 与 系统 性 学 习 的 各 个 方面 内 容 ， 有 强 
化 学 习 、 系 统 性 机 器 学 习 、 推 理 和 信息 集成 、 自 适应 学 习 、 全 局 系统 性 学 习 、 增 量 
学 习 及 表示 和 知识 增长 。 第 10 章 列举 了 一 些 例 子 来 说 明 如 何 构建 一 个 学 习 系 统 。 

本 书 主要 由 李宁 、 吴 健 和 刘 凯 翻译 。 参 与 翻译 本 书 的 人 员 还 有 李娜 、 刘 建 
强 、 伍 宏 芳 、 费 感 、 覆 凤 梅 、 陈 莹 、 王 天 伟 、 历 桃 桃 、 杨 雪 峰 等 人 人， 感谢 他 们 的 
辛苦 工作 。 感 谢 机 械 工 业 出 版 社 给 予 我 们 这 个 难得 的 机 会 。 

由 于 个 人 水 平 有 限 、 经 验 不 足 ， 书 中 翻译 不 足 之 处 在 所 难免 ， 冤 请 读者 指正 
批评 。 
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人 们 研究 人 工 智能 已 经 很 多 年 ， 甚 至 早 于 计算 机 时 代 。 在 现代 ， 基 于 事件 的 
人 工 智 能 被 广泛 应 用 于 部 件 设 备 或 者 是 设备 整体 中 。 人 工 智 能 起 了 很 大 程度 上 的 
引导 作用 ,但 人 工 干预 是 强制 性 的 。 甚 至 反馈 控制 系统 也 是 人 工 智能 系统 的 一 种 
初步 形式 。 之 后 自 适 应 控制 系统 和 混合 控制 系统 在 系统 中 增加 智能 的 鉴别 能 力 。 
随 着 计算 机 技术 的 发 展 ， 人 工 智 能 技术 受到 了 更 多 的 关注 。 基 于 计算 机 学 习 简 单 
的 事件 很 快 成 为 诸多 智能 系统 的 一 部 分 ， 人 们 对 智能 系统 的 期 望 在 持续 增长 ， 这 
就 致使 一 种 广 受 欢迎 的 学 习 范 例 ， 其 是 以 学 习 为 基础 的 模式 。 这 使 得 系统 在 很 多 
实际 方案 下 表现 得 智能 化 ， 其 中 包括 天 气 模 式 、 入 住 率 模 式 以 及 其 他 可 以 帮助 决 
策 的 不 同 模式 。 这 种 模式 发 展 成 为 一 个 行为 模式 学 习 的 范例 。 这 与 其 说 是 一 种 行 
为 模式 ， 倒 不 如 说 是 一 种 特定 测量 参数 的 简单 模式 。 行 为 模式 试图 给 出 一 个 更 好 
的 描绘 和 洞察 力 ， 这 有 助 于 学 习 和 在 网 络 及 业务 方案 下 进行 决策 ， 这 将 智能 系统 
提升 到 了 另 一 个 水 平 。 学 习 是 智能 的 表现 ， 使 机 器 进行 学 习 是 使 得 机 器 智能 化 行 
为 一 个 主要 的 部 分 。 

决策 方案 的 复杂 度 和 复杂 方案 中 的 机 器 学 习 在 机 器 智能 方面 提出 了 很 多 问 
题 。 孤 立 的 学 习 是 永远 不 会 完成 的 。 人 类 聚居 在 一 起 学 习 ， 开 发 聚居 地 并 通过 互 
动 去 创造 智慧 。 聚 集 和 合作 学 习 让 人 类 取得 了 统治 地 位 。 此 外 ， 人 类 的 学 习 与 所 
处 环境 相关 联 。 他 们 与 环境 互动 ， 并 获得 两 种 形式 的 反馈 一 一 奖励 或 惩罚 。 人 类 
的 协作 学 习 方式 给 了 他 们 探索 式 学 习 的 力量 ， 利 用 已 经 了 解 到 的 事实 以 及 参照 发 
生 的 行动 去 探索 。 强 化 学 习 的 范例 上 升 到 了 一 个 新 的 层面 ， 并 可 以 覆盖 所 需 动态 
方案 学 习 的 很 多 新 的 方面 的 问题 。 
正如 Rutherford D. Roger 所 说 :“ 我 们 淹没 在 信息 的 海洋 中 并 渴求 着 知识 的 养 
分 。” 越 来 越 多 的 信息 可 供 我 们 支配 ， 这 些 信息 的 存在 形式 多 样 化 ， 且 有 很 多 的 
信息 来 源 和 众多 的 学 习 机 会 。 学 习 时 的 实践 假设 能 够 制约 学 习 。 实 际 上 系统 的 不 
同 部 分 之 问 都 是 有 联系 的 ， 系 统 思维 状态 的 基本 原则 之 一 就 是 在 时 间 和 空间 上 因 
果 是 分 开 的 。 可 以 感受 到 决定 和 行动 的 影响 超越 了 可 察觉 的 极限 。 当 学 习 时 ， 如 
果 不 考 虑 系统 性 方面 的 关联 ， 会 导致 很 多 的 局 限 性 。 因 此 传统 的 学 习 范 例会 遭受 
现实 生活 中 高 度 动态 和 复杂 性 的 问题 。 对 相互 依赖 关系 的 整体 把 握 和 理解 能 够 帮 
助人 们 学 到 很 多 新 的 方面 的 知识 ， 并 用 更 现实 的 方式 理解 、 分 析 和 解释 信息 。 根 
据 现 有 的 资料 学 习 、 构 建新 的 信息 并 映射 其 到 知识 面 和 理解 不 同 的 观点 能 够 提高 
人 们 的 学 习 效 率 。 学 习 不 仅仅 是 获得 更 多 的 数据 和 整理 这 些 数据 ， 甚 至 不 是 建立 






























































































































































原 书 前 言 V 


更 多 的 信息 。 从 根本 上 说 ， 学 习 的 目的 是 为 了 使 个 人 做 出 更 好 的 决策 ， 并 提高 其 
创造 价值 的 能 力 。 在 机 器 学 习 中 ， 有 必要 参照 不 同 的 信息 来 源 和 学 习 的 机 会 提升 
机 器 的 能 力 。 在 机 器 学 习 中 ， 也 有 必要 赋予 机 器 做 出 更 好 决策 并 提高 其 创造 价值 
的 能 力 。 

本 书 试图 参照 不 同 机 器 学 习 的 各 方面 提出 系统 性 机 器 学 习 和 研究 机 器 学 习 机 
会 的 新 范例 。 本 书 试图 依据 精心 设计 的 案例 研究 构建 系统 性 的 机 器 学 习 基 础 。 机 
器 学 习 和 人 工 智能 在 本 质 上 是 跨 学 科 的 ， 其 涉及 统计 学 、 数 学 、 心 理学 、 计 算 机 
工程 ， 许 多 研究 者 致力 于 丰富 这 一 领域 并 获得 更 好 的 效果 。 本 书 基于 这 些 机 器 学 
习 领 域 众 多 的 贡献 以 及 作者 的 研究 ,试图 探索 系统 性 机 器 学 习 的 概念 。 系 统 机 器 
学 习 是 全 面 的 、 多 视角 的 、 增 量 的 和 系统 性 的 。 在 学 习 时 可 以 从 同一 数据 集中 学 
到 不 同 的 东西 ， 也 可 以 从 已 知 的 事实 中 学 习 。 本 书 是 建立 一 个 框架 使 所 有 的 信息 
源 得 到 充分 利用 并 参考 全 局 系统 体系 建立 知识 的 一 种 尝试 。 

在 许多 情况 下 ， 这 个 问题 也 不 是 一 成 不 变 的 ， 它 随 着 时 间 的 推移 而 变化 且 依 
赖 于 环境 。 环 境 可 能 不 只 是 局 限于 几 个 参数 ， 但 一 个 问题 的 整体 信息 建立 环境 。 
一 个 没有 环境 的 通用 系统 可 能 不 能 够 处 理 特定 环境 的 决定 。 本 书 不 仅 讨 论 学 习 的 
不 同方 面 ， 也 讨论 参照 复杂 决策 问题 案例 的 需求 。 本 书 可 作为 进行 专门 研究 的 参 
考 用 书 ， 并 可 以 帮助 读者 和 研究 者 欣赏 机 器 学 习 的 新 模式 。 

本 书 的 内 容 结构 如 图 0.1 所 示 。 








































































































图 0.1 本 书 的 内 容 结构 


VL 决策 用 强化 与 系统 性 机 器 学 习 





第 1 章 介绍 系统 概念 和 增强 机 器 学 习 ， 它 建立 了 一 个 突出 的 相同 的 机 器 学 习 
系统 范例 : 第 2 章 将 更 多 关注 机 器 学 习 的 基本 原理 和 多 视角 学 习 ; 第 3 章 关 于 强 
化 学 习 ; 第 4 章 处 理 机 器 学 习 系统 和 模型 建立 的 问题 ; 决策 推理 等 重要 的 部 分 将 
在 第 5 章 展开 ; 第 6 章 讨论 了 自 适 应 机 器 学 习 ， 第 7 章 讨论 了 范例 的 多 视角 机 器 
学 习 和 系统 性 机 器 学 习 ; 第 8 章 讨论 了 增 量 学 习 的 需要 ， 第 8 章 和 第 9 章 处 理 了 
知识 库 表 示 和 知识 库 扩 展 的 问题 ; 第 10 章 讨论 了 学 习 系 统 的 建立 。 

本 书 试图 包括 学 习 的 不 同方 面 ， 同 时 引入 一 种 新 的 机 器 学 习 范 例 ， 通 过 机 器 
学 习 来 建立 知识 库 。 本 书 有 助 于 计划 通过 智能 学 习 和 实验 做 出 智能 机 器 的 人 ， 并 
尝试 新 的 方式 ， 打 开 一 种 相同 的 新 范例 。 
























































Parag Kulkarni 


原 书 致谢 














在 过 去 的 20 年 中 ， 我 做 了 很 多 关于 决策 和 基于 人 工 智能 的 开 产 品 公司 的 工 
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第 1 章 强化 与 系统 性 机 器 学 习 


1.1 简介 


人 们 对 智能 系统 的 期 望 与 日 俱 增 。 十 年 前 所 想 的 智能 系统 如 今 只 是 被 认为 是 
个 普通 系统 而 已 。 无 论 这 个 系统 是 洗衣 机 还 是 健康 保健 系统 ， 我 们 都 希望 它 变 得 
更 加 智能 ， 并 能 证 明 其 在 解决 日 常 问题 的 复杂 行为 时 的 能 力 。 智 能 系统 的 应 用 不 
局 限于 一 种 特定 的 领域 ， 而 是 分 布 在 所 有 领域 。 因 此 ， 特 定 领 域 的 智能 系统 是 很 
好 用 的 ， 而 使 用 者 变 得 要 求 更 高 ， 一 个 不 考虑 应 用 领域 解决 问题 的 真正 智能 系统 
已 经 成 为 一 个 必要 的 目标 。 人 们 将 系统 用 于 驾驶 车 辆 、 玩 游戏 、 训 练 运动 员 、 检 
索 信息 以 及 甚至 用 于 复杂 的 医疗 诊断 中 。 所 有 这 些 应 用 程序 都 超出 了 孤立 系统 和 传 
统 的 预 编程 学 习 的 范围 。 这 些 行为 需要 动态 智能 ,动态 智 能 可 以 通过 学 习 展 示 出 
来 ， 这 不 仅 基于 可 用 的 知识 ， 而 且 基 于 通过 与 环境 相互 作用 的 知识 探索 。 使 用 现 有 
的 知识 、 基 于 动态 方向 的 学 习 和 复杂 方案 中 的 最 优 行为 是 智能 系统 的 一 些 预 期 特性 。 

学 习 的 方式 有 很 多 方面 。 从 事实 的 简单 记忆 到 复杂 推理 是 学 习 过 程 的 一 些 示 
例 。 但 在 任何 时 候 ， 学 习 是 一 个 全 面 的 行为 并 围绕 更 好 的 目标 决策 发 生 。 学 习 结 
果 从 数据 存储 、 分 拒 、 上 映射 和 分 类 中 得 来 。 至 今 智能 最 重要 的 一 个 方面 仍 是 学 
习 。 在 大 多 情况 下 ， 我 们 期 望 学 习 成 为 更 加 以 目标 为 中 心 的 行为 。 学 习 结 果 从 有 
经 验 的 人 、 自 己 的 经 验 以 及 根据 经 验 和 过 往 学 习 的 推断 而 作为 输入 得 出 。 因 此 ， 
这 里 有 三 种 学 习 的 方式 ; 

。 基于 专家 系统 输入 的 学 习 (监督 学 习 )，; 

。 基于 经 验 的 学 习 ; 

。 基于 已 完成 学 习 部 分 的 学 习 。 

本 童 将 要 谈论 强化 学 习 的 基本 要 素 及 其 发 展 历 史 ， 同 时 也 将 密切 关注 强化 学 
习 的 需求 ， 并 将 要 讨论 强化 学 习 的 局 限 性 和 系统 性 学 习 的 概念 。 系 统 性 机 器 学 习 
的 范例 于 绕 各 种 概念 和 技术 来 讨论 。 同 样 ， 本 章 也 包含 对 传统 机 器 学 习 方法 的 介 
绍 。 本 章 阐述 了 不 同学 习 方 法 和 涉及 系统 性 机 器 学 习 方 法 之 间 的 关系 。 本 章 建立 
了 系统 性 机 器 学 习 的 背景 知识 。 

























































































1.2 监督 学 习 、 无 监督 学 习 、 半 监督 学 习 和 强化 学 习 


基于 参考 一 类 案例 而 发 生 的 学 习 称 为 监督 学 习 ， 这 种 学 习 基 于 有 标记 的 数 
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据 。 简 言 之 ， 在 学 习 时 ， 系 统 拥有 一 组 标记 数据 的 知识 ， 这 是 最 普通 和 惯用 的 学 
习 方 法 之 一 。 下 面 开 始 学 习 最 简单 的 机 顺 学 习 任 务 : 用 于 分 类 的 监督 学 习 。 以 文 
档 分 类 为 示例 ， 在 这 种 特殊 情况 下 ， 学 习 者 基于 可 用 的 文件 及 其 分 类 学 习 。 这 也 
被 称 为 标记 数据 ， 可 以 映射 输入 文件 到 合适 的 分 类 中 的 程序 称 为 分 类 器 ， 因 为 它 
将 分 派 一 个 类 别 ( 即 文件 类 型 ) 到 一 个 目标 〈 即 一 个 文件 ) 中 。 监 督学 习 的 任 
务 是 构造 一 个 给 定 一 组 分 类 训练 的 范例 的 分 类 带 。 图 1. 1 所 示 是 一 个 典型 的 分 类 
实例 。 

图 1.1 代表 一 个 学 习 后 生成 的 超 平面 ， 分 
成 两 类 一 一 在 不 同 的 部 分 分 成 A 类 和 了 B 类。 每 
个 输入 点 显示 样本 空间 的 输入 一 输出 示例 。 假 
设 这 是 文件 分 类 ， 这 些 点 就 是 文件 。 在 文件 中 
通过 学 习 估算 出 了 分 割 数据 的 一 个 分 隔 线 或 超 
平面 。 一 个 未 知 文件 的 类 型 取决 于 其 相对 于 一 
个 分 类 器 的 位 置 。 

监督 分 类 存在 很 多 挑战 ， 例 如 泛 化 问题 、 
正确 学 习 数 据 的 选择 和 处 理 变异 。 标 记 的 例子 
是 用 于 训练 的 监督 学 习 。 提 供 标记 示例 的 学 习 图 1.1 监督 学 习 
算法 称 为 训练 集 。 

当然 分 类 顺和 决策 引擎 应 该 减少 误 报 和 漏 报 。 在 这 里 误 报 代表 结果 是 正确 
的 ， 也 就 是 说 被 错误 地 分 类 到 一 个 特定 的 组 中 。 漏 报 是 应 该 被 认为 是 一 类 的 但 是 
却 被 抛弃 了 的 情况 。 例 如 苹果 未 被 归 为 伴 果 类 是 漏 报 ， 而 一 个 橘子 或 者 其 他 水 果 
被 归 为 苹果 类 就 是 苹果 类 中 的 误 报 。 它 的 男 一 个 例子 是 当 有 罪 但 未 被 宣判 有 罪 是 
汤 报 ， 而 无 谤 的 但 被 定罪 或 宣告 有 罪 的 是 无 率 的 是 误 报 。 通 常情 况 下 ， 元 素 错 误 
的 分 类 比 未 分 类 危害 更 大 。 

如 果 一 个 分 类 带 知 道 数据 由 集合 或 批量 形式 构成 ， 则 它 可 以 通过 努力 获得 更 
高 的 精度 识别 两 个 相 邻 集 之 间 的 边界 。 在 文件 集合 的 情况 下 可 以 将 其 一 一 区 分 开 
来 。 虽 然 这 种 情况 依赖 方案 ， 通 常情 况 下 相 比 于 漏 报 的 情况 ， 误 报 情 况 损失 更 
大 ， 所 以 更 倾向 于 使 用 减少 漏 报 错误 的 分 类 融 的 学 习 算 法 ， 即 使 由 此 造成 更 多 误 
报 。 这 是 因为 误 报 情况 一 般 会 带 走 分 类 正确 的 对 象 和 元 素 。 一 般 认 为 误 报 情 况 可 
以 在 下 一 步 中 纠正 ， 但 漏 报 就 不 会 有 这 样 的 可 能 。 

监督 学 习 不 仅仅 只 是 分 类 ， 而 是 在 整个 过 程 中 根据 准则 得 出 最 优 决定 。 

无 监督 学 习 指 未 标记 的 数据 学 习 。 这 种 方式 更 依赖 于 相似 性 和 差异 性 而 非 其 
他 。 在 这 种 类 型 的 学 习 中 ， 所 有 类 似 的 项 目 集中 在 一 起 归于 一 个 特定 的 未 标记 的 
类 中 。 

缺少 正确 的 标记 数据 不 可 能 用 有 监督 的 方式 来 学 习 ， 这 种 情景 下 需要 应 用 无 
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监督 的 方式 来 学 习 。 这 里 的 学 习 基 于 可 见 的 相似 性 和 差异 性 ， 这 些 差 异 和 相似 之 
处 在 无 监督 学 习 中 以 数学 方式 表述 出 来 。 

给 定 一 个 大 型 的 对 象 集合 ， 常 常 希望 能 够 理解 这 些 对 象 并 设想 它们 之 间 的 关 
系 。 例 如 基于 相似 性 情况 ， 一 个 小 孩 可 以 从 其 他 动物 中 将 鸟 类 区 分 开 来 。 在 区 分 
时 使 用 了 一 些 特 有 的 性 质 和 相似 点 ， 如 鸟 儿 有 翅膀 。 初 始 阶段 的 标准 是 这 些 对 象 
的 最 明显 的 方面 。Linnaeus 用 他 一 生 的 大 多 数 时 间 致 力 于 编排 生命 体 的 层次 结 
构 ， 在 各 级 层次 结构 中 ， 实 现 安排 类 似 的 生命 体 在 一 起 的 目标 。 许 多 无 监督 学 习 
算法 基于 相似 性 映射 来 创建 类 似 的 层次 管理 。 层 次 oop 0 
































案 类 的 任务 是 安排 一 组 对 象 到 一 个 层次 中 去 , 这样。 “28e% > 3 
类 似 的 对 象 就 被 组 合 在 一 起 。 非 层次 聚 类 需求 将 数 oo。 。 人 
据 分 制 成 一 些 不 相交 的 集群 。 聚 类 的 过 程 如 图 1.2 “。 op 
所 示 。 初 学 者 对 一 堆 散 射 点 的 集合 感到 反感 ， 而 学 。 未 标识 数据 时 类 














习 过 后 生成 两 个 具有 代表 性 质心 的 集群 。 集 群 显示 。 图 1 。 无 中 睁 学习 
具有 相似 属性 和 紧密 度 的 点 被 聚集 在 一 起 。 

在 实际 方案 中 ， 往 往 要 同时 从 标记 数据 和 无 标记 数据 中 学 习 。 尽 管 使 用 无 监 
督学 习 方法 ， 也 需要 尽 可 能 使 用 标记 的 数据 。 这 被 称 为 半 监督 学 习 。 半 监督 学 习 
要 充分 利用 这 两 种 学 习 方法 ， 也 就 是 要 基于 相似 性 学 习 和 基于 有 准确 输入 的 学 
习 。 半 监督 学 习 试 图 得 到 两 种 学 习 方 法 的 最 佳 效果 。 











1.3 传统 机 器 学 习 方 法 和 机 器 学 习 发 展 历史 


学 习 过 程 并 不 是 知识 的 获取 ， 而 是 知识 获取 、 知 识 积累 和 知识 管理 的 组 合 。 
此 外 ， 智 能 推理 对 正常 的 学 习 至 关 重要 。 知 识 涉及 信息 的 重要 性 ， 学 习 涉 及 构建 
知识 。 如 何 让 一 个 机 带 进 行 学 习 ? 研究 人 员 已 经 研究 这 个 问题 超过 60 年 。 这 个 
研究 的 结果 为 本 章 构建 了 一 个 平台 。 学 习 包 括 日 常生 活 中 的 任何 行为 ， 举 例如 
下 : 当 昨 天 Ram 去 办 公 室 时 发 现 路 线 1 正在 进行 道路 维修 工作 ， 所 以 他 今天 选 
择 路 线 2。 这 样 有 可 能 路 线 2 情况 更 差 。 所 以 他 可 能 会 重 选 路 线 1 或 者 尝试 路 线 
3。 路 线 1 糟糕 是 由 于 维修 工作 已 构建 为 知识 ， 然 后 基于 这 个 知识 他 采取 了 行动 ， 
这 就 是 探索 。 学 习 的 复杂 度 随 着 参数 的 数量 而 增加 ， 并 且 时 间 维 度 在 决策 中 开始 
发 挥 作用 ，Ram 发 现 路 线 1 的 道路 维修 工作 正在 进行 。 

Ram 发 现 路 线 1 的 道路 维修 工作 正在 进行 。 

他 听 到 一 个 消息 ， 为 了 防止 下 雨 ， 路 线 2 将 要 被 关闭 。 

当 他 回 到 办 公 室 时 ， 发 现 自 己 需要 和 逛 X 商店 。 

他 的 车 汽油 耗 尽 了 。 

相 比 于 上 面 讨论 的 情景 1 和 2 来 说 ， 这 些 新 的 因素 导致 他 的 决策 变 得 更 加 
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复杂 。 

在 本 节 中 ， 将 围绕 实例 讨论 各 种 学 习 方 法 。 学 习 用 的 数据 和 信息 是 非常 重要 
的 ， 数 据 不 能 直接 用 来 学 习 ， 它 可 能 包含 异常 值 和 一 些 与 试图 解决 的 问题 的 特征 
无 关 的 信息 。 学 习 数 据 的 选择 方法 随 着 问题 而 变化 。 在 某 些 情况 下 将 最 常用 的 模 
式 用 于 学 习 中 。 其 至 在 某 些 情况 下 ， 异 常 值 也 被 用 于 学 习 中 。 这 里 学 习 可 以 基于 
异常 情况 ,学习 可 以 基于 相似 之 处 以 及 不 同 之 处 发 生 ， 正 面 以 及 负面 的 例子 都 可 
以 帮助 有 效 地 学 习 。 很 多 学 习 模 型 都 是 以 开拓 知识 为 目标 。 

学 习 是 一 个 连续 的 过 程 。 新 方案 观察 和 新 情况 出 现 一 一 那些 需要 被 用 于 学 
习 。 通 过 观察 来 学 习 需 要 构建 有 意义 的 观察 对 象 和 情景 的 分 类 ， 为 此 需要 测量 相 
似 性 和 接近 度 。 通 过 观察 来 学 习 是 人 类 最 常用 的 方法 ， 当 人 们 做 决策 时 所 遇 到 的 
方案 和 对 象 是 之 前 学 习 阶 段 没有 遇 过 的 ， 通 过 推理 可 以 处 理 这 些 方案 。 此 外 ， 需 
要 在 不 同 的 和 新 的 方案 学 习 ， 甚 至 在 做 决策 时 也 要 继续 学 习 。 

有 三 种 基本 的 持续 活跃 的 仿生 学 习 机 制 : 

1. 知觉 学 习 

学 习 新 的 对 象 、 策 略 和 关系 。 它 更 像 是 不 断 寻 求 改善 和 发 展 的 学 习 方 式 。 更 
类 似 于 专业 人 士 应 用 的 学 习 方 法 。 

2. 案例 学 习 

基于 事件 和 事件 的 相关 信息 ， 比 如 是 什么 、 在 哪儿 和 什么 时 候 。 它 是 事件 发 
生 时 行为 中 的 学 习 或 改变 。 

3. 过 程 学 习 

基于 行为 和 动作 序列 来 完成 任务 的 学 习 。 这 种 人 类 认 知 的 实现 可 以 影响 机 器 
的 智能 化 水 平 ， 这 种 人 类 认 知 的 实现 可 以 为 机 器 传授 智慧 。 因 此 ， 关 于 智能 行为 
的 统一 方法 是 机 器 在 动态 环境 中 的 学 习 和 行动 或 者 智能 响应 需要 的 时 间 。 

传统 的 机 器 学 习 方法 易 受 连续 动态 环境 的 影响 ， 然 而 人 类 的 知觉 学 习 并 不 受 
此 限制 。 人 类 的 学 习 是 选择 性 增强 的 ， 所 以 并 不 需要 大 量 训练 集 ， 同 时 没有 对 已 
经 学 习 且 并 未 过 时 的 知识 有 偏见 。 人 类 的 学 习 和 知识 是 动态 的 ， 人 类 的 大 脑 适 应 
环境 发 生 的 不 断 变化 情况 。 

有 趣 的 是 ， 心 理学 家 在 机 器 学 习 发 展 中 扮演 了 一 个 重要 的 角色 。 计 算 机 学 研 
究 人 员 和 心理 学 家 一 起 促进 机 器 智能 化 已 经 超过 60 年 了 。 其 应 用 领域 不 断 扩大 ， 
在 过 去 的 60 年 研究 里 ， 让 我 们 相信 这 是 机 器 学 习 最 有 趣 的 一 个 方面 。 

机 器 学 习 是 计算 机 编程 方法 的 研究 。 它 是 为 了 让 机 器 智能 化 工作 ， 可 以 像 人 
一 样 学 习 经 验 。 在 一 些 任务 中 并 不 需要 人 类 专家 ， 这 里 包括 自动 化 设备 或 者 是 在 
极 少 数 动态 环境 下 精度 等 级 要 求 高 的 重复 性 任务 。 机 器 学 习 系 统 研究 记录 数据 、 
分 布 式 机 器 故障 以 及 学 习 预 测 规则 。 其 次 ， 存 在 于 哪里 和 是 否 需 要 人 类 专家 的 问 
题 ,， 但 知识 存在 于 一 种 隐形 的 形式 中 。 语 音 识别 和 语言 理解 属于 这 一 类 。 事 实 
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上 ， 所 有 人 类 在 这 些 任务 中 表现 出 了 专家 级 能 力 ， 但 他 们 并 不 清楚 完成 这 些 任务 
的 具体 方法 和 步 又。 在 这 种 情况 下 提供 一 组 输入 和 输出 的 映射 集合 ， 因 此 机 器 学 
习 算 法 可 以 学 习 从 输入 到 输出 的 映射 。 

第 三 ， 现 象 迅 速 变化 是 个 问题 。 现 实生 活 中 有 很 多 动态 方案 ， 这 里 的 状况 和 
参数 是 动态 变化 的 。 这 些 行为 频繁 变化 ， 以 至 于 尽管 一 个 程序 员 可 以 构建 一 个 好 
的 计算 机 预测 程序 ， 但 需要 频繁 的 重复 编写 。 学 习 程 序 通 过 不 断 的 修改 和 调整 学 
习 预 测 规则 和 集 来 解除 程序 员 的 负担 。 

第 四 ， 有 需要 为 每 个 计算 机 用 户 单独 定制 的 应 用 程序 。 机 器 学 习 系 统 可 以 学 
习 客 户 特定 需求 ， 且 相应 地 为 特定 的 定制 版 本 调 优 参数 。 

机 器 学 习 在 统计 学 、 数 据 挖掘 和 心理 学 的 帮助 下 解决 了 很 多 研究 问题 。 机 器 
学 习 不 仅仅 是 数据 挖掘 和 统计 数据 。 机 器 学 习 (ML) 按照 现在 的 情况 来 说 是 数 
据 挖掘 和 统计 学 的 应 用 ， 用 于 决策 推理 或 构建 知识 完成 更 好 的 决策 。 统 计数 据 更 
多 的 是 理解 数据 及 其 之 间 的 模式 。 数 据 挖掘 寻求 决策 和 分 析 模 式 的 相关 数据 。 人 
类 学 习 的 心理 研究 渴望 理解 人 类 各 种 学 习 行 为 的 潜在 机 理 。 在 这 个 阶段 结束 的 时 
候 ， 人 们 想 让 机 器 学 习 授权 机 器 如 同人 类 在 复杂 情景 下 的 学 习 能 力 。 人 性 和 智力 
的 心理 学 研究 也 能 导致 不 同 的 机 器 学 习 方法 ， 这 里 包括 概念 学 习 、 技 术 获 取 、 策 
略 变化 、 分 析 推 理 和 基于 方案 的 偏爱 。 

机 器 学 习 主 要 与 及 时 响应 、 精 度 和 由 此 产生 的 计算 机 系统 效率 的 影响 有 关 。 
很 多 时 候 没 有 考虑 其 他 方面 ， 比 如 学 习 能 力 和 应 对 动态 情况 ， 这 是 同样 重要 的 。 
机 器 学 习 方 法 重点 应 用 在 一 些 复杂 系统 中 ， 如 建立 一 个 精确 的 人 脸 识别 系统 。 在 
这 方面 ， 统 计 学 家 、 心 理学 家 和 计算 机 学 家 都 要 共同 发 挥 作用 。 数 据 挖掘 方法 可 
能 用 于 寻求 图 像 数据 中 的 模式 和 变化 。 

机 器 学 习 的 一 个 主要 的 方面 是 学 习 数 据 的 选择 。 所 有 有 用 的 信息 并 不 能 都 被 
应 用 ， 这 当中 可 能 包含 大 量 数据 ， 这 些 数据 也 许 并 不 相关 或 者 是 从 完全 不 同 的 视 
角 获 取 的 。 使 用 的 每 比特 数据 都 不 可 能 有 相同 的 重要 性 和 优先 级 。 这 些 数据 的 优 
先 次 序 是 基于 方案 、 系 统 的 重要 性 和 相关 性 的 。 数 据 关联 的 决策 是 处 理 过 程 中 最 
难 的 一 部 分 。 

在 合适 的 时 间 进 行 机 器 学 习 并 做 出 合适 的 决策 面临 着 大 量 的 挑战 。 这 些 挑 战 
从 有 限 的 学 习 数 据 的 可 用 性 、 未 知 的 视角 以 及 定义 决策 问题 开始 。 举 一 个 简单 的 
例子 : 期 望 机 器 给 病人 开 出 正确 的 药 。 学 习 集 可 能 包括 患者 的 样本 、 他 们 的 历史 
数据 、 他 们 的 检测 报告 、 报 告 的 症状 。 此 外 ， 学 习 的 数据 还 可 能 包括 一 些 其 他 信 
息 ， 如 家 庭 历史 、 爱 好 等 。 对 于 一 个 新 的 病人 ， 需 要 基于 可 用 的 有 限 信息 来 推 
断 ， 因 为 相同 的 疾病 的 表现 在 他 身上 的 情况 可 能 会 有 所 不 同 。 一 些 重要 的 信息 可 
能 丢失 ， 因 此 决策 会 变 得 更 加 困难 。 

当 注 意 人 类 学 习 的 方法 时 ， 会 发 现 很 多 有 趣 的 方面 。 通 常情 况 下 ， 学 习 和 理 
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解 同 时 发 生 。 新 的 和 已 有 的 知识 都 是 围绕 学 科 主 要 概念 和 原理 时 促进 学 习 发 展 
的 。 在 学 习 过 程 中 ， 要 么 一 些 原理 已 经 存在 ， 要 么 在 工作 过 程 中 发 展 为 学 习 指 
南 。 学 习 也 需要 先 验 知识 。 学 习 者 使 用 他 们 已 经 知道 的 来 构造 新 的 理解 。 此 外 ， 
他 们 有 不 同 视角 和 元 认 知 〈metacognition ) 。 学 习 是 通过 识别 、 监 控 和 调节 元 认 
知 策略 的 使 用 而 促进 发 展 的 。 





1.4 什么 是 机 器 学 习 ? 





一 般 的 机 顺 学 习 的 概念 如 图 1.3 所 示 。 机 器 学 习 人 研究 计算 机 学 习 算 法 。 例 
如 ， 可 能 会 有 兴趣 学 习 完成 一 项 任务 ， 或 者 做 出 准确 的 预测 、 在 某 些 情 况 下 做 出 
的 反应 ， 或 表现 得 智能 化 。 所 做 的 学 习 总 是 基于 某 种 观察 或 数据 ， 如 示例 (在 
本 童 中 最 常见 的 情况 )、 直 接 经 验 ， 或 指令 。 所 以 通常 来 说 ， 机 带 学 习 是 让 未 来 





























的 学 习 做 得 更 好 ， 这 是 基于 标识 未 机 器 应 用 在 新 
过 往 的 经 验 ， 这 就 是 让 机 器 “标识 训练 一 | 学 习 上 | 示例 的 预 一 一 分 类 
示例 算法 测 规则 
从 可 用 的 信息 、 经 验 和 构建 
的 知识 中 学 习 。 图 1.3 机 器 学 习 和 分 类 融 
在 当前 研究 的 背景 下 ， 机 器 学 习 是 所 有 程序 的 发 展 趋势 ， 这 是 能 够 尽 可 能 在 





不 同方 案 中 分 析 来 自 各 种 数据 源 的 数据 、 选 择 相关 数据 、 使 用 这 些 数 据 来 预测 在 
另 一 个 类 似 的 系统 的 行为 。 机 器 学 习 还 对 对 象 和 行为 进行 分 类 ， 并 最 终 给 出 新 的 
输入 方案 的 决策 信息 。 有 趣 的 是 ， 需 要 更 多 的 学 习 和 更 智能 化 来 处 理 不 确定 的 
情况 。 





1.5 机 器 学 习 问 题 


很 容易 得 出 结论 ， 所 有 的 问题 都 需要 智能 方法 去 解决 从 而 归 和 人 机 顺 学 习 的 分 
类 问题 。 典 型 的 问题 是 字符 识别 、 面 部 身份 验证 、 文 档 分 类 、 垃 圾 邮件 过 滤 、 语 
音 识别 、 欺 诈 检测 、 天 气 预报 、 入 住 率 预 测 。 有 趣 的 是 ， 许 多 问题 更 复杂 ， 涉 及 
的 决策 也 可 以 被 认为 是 机 融 学 习 问题 。 这 些 问题 通常 涉及 经 验 和 数据 的 学 习 ， 以 
及 在 已 知 和 未 知 的 搜索 空间 寻找 解决 方案 。 它 可 能 涉及 对 象 的 分 类 、 难 题 、 并 将 
其 映射 到 解决 方案 或 决策 。 其 至 任何 类 型 的 对 象 或 事件 的 分 类 也 是 机 带 学 习 


问题 。 
1.5.1 学 习 的 目标 


学 习 / 机 顺 学 习 的 主要 目标 是 产生 一 些 有 实际 价值 的 学 习 算 法 。 在 相关 文献 
和 研究 中 ， 大 多 时 候 ， 机 器 学 习 都 被 提 及 应 用 的 前 景 ， 更 受 所 用 方法 的 约束 。 机 
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器 学 习 的 目标 可 以 描述 为 计算 机 算法 和 模型 的 发 展 与 强化 以 来 满足 实际 方案 中 决 
策 的 需要 。 有 趣 的 是 ， 它 确实 达到 了 在 许多 应 用 中 所 设 定 的 目标 。 从 洗衣 机 和 微 
波 炉 到 自动 着 陆 飞 船 ， 机 器 学 习 在 现代 化 应 用 程序 和 设备 中 扮演 了 重要 角色 。 机 
器 学 习 的 时 代 已 经 从 简单 的 数据 分 析 和 模式 匹配 方法 发 展 到 模糊 逻辑 与 推论 。 

在 机 融 学 习 中 ， 大 部 分 推论 是 数据 驱动 的 。 数 据 的 资源 是 有 限 的 ， 大 多 数 情 
况 下 很 难 去 识别 有 用 数据 。 这 些 资源 可 能 包含 大 量 数据 ， 数 据 中 包含 了 相互 之 间 
的 重要 关系 和 相关 性 。 机 品 学 习 可 以 得 到 这 些 关 系 ， 这 是 一 个 数据 挖掘 应 用 的 领 
域 。 机 器 学 习 的 目标 是 构建 能 够 解决 日 常生 活 中 问题 的 智能 系统 (IS) 。 

计算 引擎 的 计算 能 力 、 算 法 的 复杂 性 和 精确 性 、 有 价值 信息 的 数量 和 质量 、 
系统 体系 结构 的 效率 和 可 靠 性 决定 了 人 工 智能 的 规模 。 人 工 智 能 的 规模 可 以 通过 
算法 的 开发 、 学 习 和 发 展 来 增加 。 人 工 智 能 是 自然 选择 的 产物 ， 在 这 里 更 多 成 功 
的 行为 传递 给 之 后 一 代 的 智能 系统 和 不 太 成 功 的 行为 被 淘汰 。 这 种 人 工 智 能 帮助 
人 类 和 智能 系统 去 学 习 。 

在 监督 学 习 中 ， 从 不 同 的 方案 和 作为 学 习 材 料 的 预期 结果 中 学 习 。 其 目的 
是 ， 如 果 在 未 来 同样 的 地 方 遇 到 了 类 似 的 情况 ， 可 以 做 出 适当 或 最 好 的 决定 。 如 
果 能 把 一 个 新 的 方案 分 类 到 一 个 已 知 类 别 或 已 知 的 情况 ， 将 新 的 方案 进行 分 类 人 允 
许 选 择 一 个 适当 的 行动 。 学 习 可 以 通过 模仿 、 记 忆 、 映 射 和 推理 完成 ， 此 外 ， 归 
纳 、 演 绎 、 基 于 实例 和 基于 观察 的 学 习 是 可 用 于 学 习 的 其 他 方式 。 

学 习 是 由 目标 驱动 的 ， 且 由 确定 的 性 能 元 素 和 他 们 的 组 件 进 行 管理 。 性 能 元 
素 和 组 件 的 清晰 度 、 学 习 组 件 行为 的 可 用 反馈 以 及 组 件 的 表示 都 是 必要 的 学 习 。 
这 些 决策 者 需要 学 习 ， 并 且 这 些 决 策 者 的 组 件 应 当 能 够 映射 并 决定 操作 ， 提 取 并 
推断 出 与 环境 有 关 的 信息 ， 并 设置 描述 类 的 状态 的 目标 。 参 照 值 或 状态 的 期 望 的 
动作 有 助 于 系统 的 学 习 。 学 习 在 反馈 的 基础 上 发 生 ， 这 些 反 馈 用 来 决定 惩罚 或 奖 
励 的 形式 。 



























































1.6 学 习 模 式 





经 验 学 习 法 有 三 种 不 同 的 建立 问题 模型 的 方式 ， 它 们 是 基于 观察 、 数 据 以 及 
有 关 问 题 领域 的 部 分 知识 的 。 它 们 是 : 

1) 生成 模式 ; 

2) 判别 模式 ; 

3) 仿真 模式 。 

每 个 模型 都 有 上 自己 的 优点 和 缺点 。 依 据 训 练 样本 和 先 验 知识 ， 它 们 最 适合 于 
不 同 的 应 用 领域 。 一 般 情况 下 ， 学 习 横 式 的 适用 性 取决 于 问题 的 情况 、 现 有 知识 
和 决策 的 复杂 性 。 
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在 生成 的 建 模 方法 中 ， 通 过 估计 间 题 领域 变量 的 联合 概率 ， 统 计 学 提供 了 一 
个 形式 化 的 方法 去 确定 非 确定 性 模型 。 贝 叶 斯 网 络 是 用 来 捕捉 域 变量 之 间 依 赖 关 
系 以 及 其 分 布 规律 的 。 这 部 分 知识 结合 观察 增强 了 概率 密度 函数 。 然 后 生成 的 密 
度 函 数 被 用 来 产生 该 系统 的 不 同 配置 的 样品 ， 并 得 出 一 个 对 未 知情 况 的 推论 。 由 
于 可 视 化 的 变量 比 启发 方式 的 相互 依存 关系 能 够 产生 更 好 地 预测 结果 ， 传 统 的 基 
于 规则 的 专家 系统 让 位 于 由 统计 生成 方法 。 不 同 演讲 者 间 的 自然 语言 处 理 、 语 音 
识别 和 专题 建 模 是 生成 模型 的 一 些 应 用 领域 。 这 种 学 习 概 率 的 方法 可 以 被 应 用 于 
计算 机 视觉 、 运 动 跟踪 、 目 标识 别 、 人 脸 识别 等 。 概 括 地 说 ， 生 成 模型 学 习 可 以 
应 用 于 领域 感知 、 时 空 建 模 以 及 自主 决策 。 为 了 能 够 更 好 地 预测 ， 这 种 模式 试图 
代表 和 示范 的 相互 依存 关系 。 

判别 方法 模型 的 后 验 概 率 或 判别 函数 具有 较 少 的 特定 领域 的 或 先 验 知识 。 这 
种 技术 直接 优化 任务 相关 的 目标 标准 。 例 如 ， 支 持 向 量 机 的 方法 可 以 将 两 组 N 
维 变量 之 间 的 超 平面 边缘 最 大 化 。 这 种 方法 可 广泛 用 于 文档 分 类 、 字 符 识别 以 及 
其 他 许多 地 方 一 问题 变量 之 间 的 相互 依存 关系 在 观测 变量 中 没有 起 到 任何 作用 
或 发 挥 的 作用 很 低 。 因 此 ， 预 测 不 仅仅 被 固有 问题 结构 影响 ， 同 时 也 被 领域 知识 
影响 。 这 种 方法 在 相互 依赖 性 非常 高 的 情况 下 可 能 不 是 很 有 效 。 

第 三 种 方法 是 模仿 学 习 。 自 主 决策 者 表现 出 的 相互 作用 行为 ， 是 通过 模仿 学 
习 进 行 训练 的 。 模 仿 学 习 的 目的 是 通过 提供 一 个 决策 者 与 外 部 环境 相互 作用 的 例 
子 来 学 习 决 策 者 的 行为 并 概括 它 。 图 1. 4 描绘 了 这 种 学 习 模 式 的 两 个 组 件 被 动感 
知 现实 世界 的 行为 并 从 中 学 习 。 互 动 决策 者 使 用 生成 模型 感知 环境 去 再 生 /合成 
虚拟 角色 /交互 作用 ， 并 使 用 时 间 上 的 判别 方法 学 习 去 专注 于 必要 的 行动 选择 的 
预测 任务 。 决 策 者 试图 模仿 真实 世界 的 情况 与 智慧 ， 这 样 ， 如 果 一 个 确切 的 行为 
在 学 习 假设 中 不 可 用 ， 决 策 者 仍然 可 以 采取 一 些 基于 综合 的 行动 。 模 仿 和 观察 学 
习 的 发 生 可 以 偶尔 用 于 强化 学 习 中 。 模 仿 反应 可 能 是 奖 
励 强化 学 习 的 措施 。 

图 1. 4 参照 一 个 示例 和 环境 描绘 了 模仿 学 习 。 该 演 
示 是 相应 的 行动 ， 即 一 系列 观察 者 学 习 的 行动 。 环 境 是 
指 观察 者 的 环境 。 学 习 需 要 基于 模仿 和 观察 演示 ， 而 知 
识 基础 和 环境 有 助 于 推断 不 同 的 事实 去 完成 学 习 。 模 仿 | 及 多 才 范例 
学 习 可 以 扩展 到 模仿 强化 学 习 ， 在 那里 模仿 是 基于 以 前 | 
的 知识 学 习 ， 而 补偿 是 与 纯 模仿 响应 比较 的 。 

基于 经 验 的 学 习 需 要 有 输入 和 结果 的 经 验 来 衡量 。 | 
任何 行动 都 有 一 些 结果 ， 其 结果 会 导致 行动 进行 某 种 修 
正 。 学 习 可 以 是 基于 数据 的 、 基 于 事件 的 、 基 于 模式 的 
和 基于 系统 的 。 这 些 学 习 范例 都 有 各 自 的 优点 和 缺点 。 图 1.4 强化 和 模仿 学 习 
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知识 积累 和 学 习 是 一 个 持续 的 过 程 ， 人 们 希望 系统 能 够 创造 性 、 智 能 性 地 重复 使 
用 ， 也 就 是 为 完成 目标 状态 而 选择 性 地 学 习 。 

有 趣 的 是 ， 当 一 个 孩子 正在 学 习 走 路 时 ， 他 同时 使 用 所 有 类 型 的 学 习 。 来 自 
父母 的 指导 是 监督 学 习 的 一 些 形式 ， 基 于 新 的 数据 的 监督 学 习 指 出 马上 就 要 到 达 
对 面 了 ， 其 从 一 些 熟 悉 的 环境 推断 并 从 环境 中 得 到 反馈 。 学 习 的 结果 起 因 于 标记 
和 未 标记 的 数据 ， 并 同时 发 生 。 事 实 上 ， 孩 子 正在 使 用 各 种 学 习 方 法 ， 甚 至 不 止 
这 些 。 一 个 孩子 不 仅 采用 现 有 的 知识 和 背景 ， 还 从 现 有 的 不 能 直接 得 到 信息 的 数 
据 中 去 推断 。 孩 子 们 根据 需要 和 适当 性 有 选择 性 地 使 用 这 些 方法 ,或 结合 在 一 起 
使 用 。 孩 子 们 的 学 习 效 果 来 自 他 们 与 环境 的 密切 互动 。 当 从 经 验 中 系统 学 习 时 ， 
需要 考虑 到 所 有 这 些 事实 。 此 外 ， 更 多 的 是 范例 ， 而 不 是 学 习 方法 的 使 用 。 本 书 
是 关于 建立 一 个 强化 学 习 的 智能 化 系统 ， 强 化 学 习 设 法 取得 开发 和 探索 之 间 的 平 
衡 。 此 外 ， 它 与 环境 发 生 互动 ,来自 环境 的 奖励 然后 累积 值 带 动 整体 行动 。 图 
1.5 描述 了 孩子 学 习 的 模式 。 孩 子 们 得 到 的 很 多 输入 来 自 他 们 的 父母 、 社 会 、 学 
校 和 经 验 。 他 们 执行 操作 ， 并 因此 为 他 们 从 这 些 资源 和 环境 获得 回报 。 
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图 1.5 孩子 学 习 模 式 


1.7 机 器 学 习 技术 和 范例 


学 习 模 式 多 年 来 不 断 改变 。 智 能 的 概念 变 了 ， 其 至 范例 学 习 和 知识 获取 的 方 
式 也 发 生 了 改变 。 范 例 (在 科学 哲学 中 ) 是 科学 进展 的 本 质 中 一 个 非常 普通 的 
概念 ， 它 用 来 承担 给 定 的 查询 。 按 照 Peter Senge 的 观点 学 习 是 知识 和 信息 的 获 
取 ， 它 能 赋予 我 们 在 生活 中 想 要 得 到 的 东西 1]。 
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纵 观 机 器 学 习 的 发 展 史 ， 最 初 的 时 候 更 多 的 认为 学 习 是 记忆 、 获 取 或 者 复制 
一 些 已 记忆 的 事实 ， 并 当 需 要 时 可 以 被 用 到 。 这 种 模式 可 以 被 称 为 以 数据 为 中 心 
的 范例 。 事 实 上 即使 到 今天 ， 这 种 范例 也 确实 存在 于 机 天 学 习 中 ， 并 且 很 大 程度 
上 被 用 在 所 有 的 智能 程序 中 。 以 检索 雇员 年 龄 的 一 个 简单 的 程序 作为 例子 ， 一 个 
简单 的 数据 库 保 存 雇员 的 姓名 和 年 龄 ， 当 任何 雇员 的 名 字 被 给 出 时 ， 该 程序 可 以 
检索 给 定 雇员 的 年 龄 。 有 很 多 这 样 的 以 数据 库 为 中 心 的 应 用 程序 展示 数据 中 心 的 
智能 性 ， 但 是 来 自 智能 系统 的 期 望 值 开始 上 升 。 按 照 智 能 的 图 灵 测 试 ， 智 能 系统 
是 一 个 可 以 表现 得 像 人 类 或 者 很 难 辨识 它 的 响应 是 来 自 一 全 机 带 还 是 一 个 人 。 

学 习 是 跨 学 科 的 ， 并 人 处理 来 自 心理 学 、 统 计 学 、 数 学 以 及 神经 学 方面 的 信 
息 。 有 趣 的 是 ， 所 有 的 人 类 行为 不 可 能 全 部 符合 智能 ， 因 此 已 有 一 些 地 方 计算 机 
E 够 表现 或 应 对 得 更 好 。 图 灵 测 试 ， 适 用 于 具有 智能 行为 的 计算 机 。 也 有 一 些 智 
的 活动 ， 人 类 不 这 样 做 ,或 者 机 融 可 以 用 一 个 比 人 类 更 好 的 方式 去 做 。 

强化 学 习 是 使 系统 获得 两 全 其 美的 最 佳 可 能 的 方式 。 但 是 ， 由 于 活动 和 决策 
的 系统 性 行为 使 人 们 有 必要 去 了 解 有 效 决 策 的 系统 行为 及 其 组 件 ， 机 器 学 习 的 传 
统 范例 可 能 不 会 表现 出 复杂 系统 所 需 的 智能 行为 。 每 一 项 活动 、 行 动 和 决策 都 具 
有 一 定 的 系统 性 影响 。 此 外 ， 任 何事 件 可 能 会 导致 其 他 一 些 事件 或 一 系列 从 系统 
的 视角 来 看 的 事件 。 这 些 关 系 是 复杂 的 、 难 以 理解 的 。 从 系统 性 视角 探索 去 建立 
知识 ， 以 获得 从 系统 中 所 期 望 的 东西 。 从 经 验 中 学 习 是 它 最 重要 的 组 成 部 分 。 随 
着 经 验 的 增长 ， 行 为 有 望 得 到 改善 。 

学 习 的 两 个 方面 包括 可 预见 的 环境 行为 和 不 可 预见 的 环境 行为 的 学 习 。 当 期 
望 系统 和 机 器 甚至 在 不 可 预测 的 环境 中 也 能 表现 出 智能 化 时 ， 需 要 从 新 期 望 的 视 
角 去 看 学 习 的 范例 和 模型 。 这 些 期 望 使 得 它 有 必要 持续 学 习 不 同 来 源 的 信息 。 

表示 和 适应 这 些 系统 的 知识 并 有 效 使 用 它们 是 其 不 可 或 缺 的 一 部 分 。 学 习 的 
另 一 个 重要 方面 是 情景 : 智能 和 决策 应 有 效 利 用 情景 。 在 缺失 情景 的 情况 下 ， 导 
出 数据 的 含义 是 困难 的 。 进 一 步 的 决定 取决 于 情景 ， 情 景 是 非常 系统 性 的 。 情 景 
更 多 地 谈论 情形 ， 也 就 是 说 ， 人 情况 和 围绕 事件 的 事实 。 在 缺少 事实 和 相关 数据 的 
情况 下 ， 决 策 变 得 很 困难 。 方 案 包 括 环境 和 系统 的 各 个 方面 ， 如 环境 参数 、 与 其 
他 系统 及 其 子 系统 的 相互 作用 、 各 种 不 同 的 参数 等 。 当 医生 问 病 人 一 些 问题 时 ， 
由 病人 给 出 的 信息 、 医 生 已 知 的 有 关 流行 病 的 资料 、 其 他 最 近 的 健康 问题 以 及 医 
学 检查 的 结果 来 建立 病人 的 诊断 环境 。 医 生 使 用 这 种 环境 去 诊断 。 

智能 不 是 孤立 的 ， 它 需要 环境 中 的 信息 去 作 决策 和 学 习 。 对 于 他 们 的 每 一 个 
行动 ， 学 习 决 策 者 得 到 奖励 /惩罚 的 反馈 形式 。 他 们 应 该 从 经 验 中 学 习 。 为 了 学 
习 ， 有 必要 获得 更 多 的 信息 。 在 现实 生活 方案 中 ， 决 策 者 不 可 能 都 知道 所 有 的 一 
切 。 这 里 有 可 以 充分 观察 到 的 环境 和 部 分 可 观测 环境 。 事 实 上 几乎 所 有 的 环境 都 
是 可 部 分 观察 到 的 ， 除 非 为 了 特定 的 目标 提出 了 一 些 约束 条 件 。 狭 隘 的 观念 限制 
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了 学 习 和 决策 能 力 。 整 合 信息 的 概念 非常 有 效 地 被 用 在 智能 系统 中 一 一 学 习 模 式 
被 以 数据 为 中 心 的 方法 所 限制 。 在 过 去 的 研究 中 背景 被 认为 以 数据 为 中 心 ， 绝 不 
是 在 活动 的 中 心 。 





1.8 什么 是 强化 学 习 ? 


存在 大 量 的 非 线 性 和 复杂 的 问题 仍然 等 待 解 决 方案 。 从 自动 化 的 汽车 司机 到 
下 一 个 级 别 的 安全 系统 一 应 俱全 。 这 些 问 题 看 起 来 可 以 解决 ,但 是 这 些 方法 、 解 
决 方案 和 能 提供 的 信息 不 足以 提供 一 个 完美 的 解决 方案 。 

解决 机 器 学 习 问题 的 主要 目标 是 通过 学 习 和 适应 环境 变化 来 产生 智能 程序 或 
智能 决策 者 。 强 化 学 习 就 是 这 样 一 个 机 器 学 习 的 过 程 。 在 这 种 方法 中 ， 学 习 者 或 
软件 决策 者 通过 与 环境 的 直接 相互 作用 的 方式 进行 学 习 。 这 种 方式 是 模仿 人 类 的 
学 习 方式 。 即 使 关于 环境 的 全 局 模型 或 信息 不 可 用 ,决策 者 也 能 够 学 习 。 决 策 者 
获取 有 关 其 行为 的 奖励 或 惩罚 措施 的 反馈 。 在 学 习 的 过 程 中 ， 这 些 情况 被 映射 到 
环境 中 的 行为 。 强 化 学 习 算法 将 在 与 环境 的 相互 作用 中 获得 奖励 最 大 化 ， 同 时 建 
立行 动 状态 的 映射 作为 决策 的 策略 。 该 策略 可 以 一 次 决定 ， 或 者 它 也 可 以 与 变化 
的 环境 相 适 应 。 

监督 学 习 不 同 于 强化 学 习 ， 监 督学 习 是 使 用 最 广泛 的 一 种 学 习 。 监 督学 习 是 
由 一 个 知识 渊博 的 外 部 监管 者 提供 实例 的 学 习 。 它 是 训练 参数 化 函数 逼近 的 方 
法 ， 但 是 它 不 适用 于 从 互动 中 学 习 。 它 更 像 是 来 自 外 部 的 指导 学 习 ， 并 且 指 导 位 
于 环境 和 情况 之 外 。 在 交互 的 问题 中 ， 决 策 者 在 所 有 的 情况 下 获得 正确 的 具有 代 
表 性 的 且 满 足 期 望 行为 的 例子 往往 是 不 切合 实际 的 。 在 未 知 的 领域 ， 在 那里 人 们 
会 期 望 的 学 习 是 最 有 利 的 ， 决 策 者 也 必须 能 够 从 自己 的 经 验 和 环境 中 学 习 。 因 
此 ， 强 化 学 习 结 合 动态 规划 领域 以 及 监督 学 习 ， 生 成 非常 接近 人 类 学 习 方 法 的 机 
器 系统 。 

其 中 一 个 出 现在 强化 学 习 中 而 不 是 在 其 他 类 型 的 学 习 中 的 挑战 是 探索 和 开发 
之 间 的 权衡 。 为 了 获得 大 量 的 奖励 ， 强 化 学 习 决 策 者 必须 喜欢 过 去 一 直 试 图 发 现 
能 够 有 效 产 生 奖 励 的 行为 。 但 为 了 发 现 这 种 行为 ， 就 不 得 不 尝试 之 前 没有 选择 的 
操作 。 为 了 获得 奖励 ， 决 策 者 必须 利用 已 知 的 信息 。 为 了 在 将 来 做 出 更 好 的 行动 
选择 ， 决 策 者 也 不 得 不 去 探索 。 了 矛盾 的 是 ， 无 论 是 探索 还 是 开发 都 不 能 只 进行 不 
失败 的 任务 。 在 随机 任务 中 ， 每 个 动作 一 定 要 尝试 多 次 去 获得 其 预期 回报 的 可 靠 
估计 。 平 衡 探 索 和 开发 的 整个 问题 不 会 出 现在 监督 学 习 中 ， 因 为 它 通常 被 限定 
了 。 此 外 ， 监 督学 习 从 来 不 考虑 探索 ， 探 索 责 任 被 赋予 了 专家 。 

强化 学 习 的 为 一 个 重要 特点 是 它 明 确 考 虑 了 目标 导向 的 决策 者 与 不 确定 环境 
互动 的 整个 问题 。 这 是 与 很 多 考虑 子 问 题 没有 解决 如 何 适 应 一 个 更 大 事态 的 方法 

























































































12 ”决策 用 强化 与 系统 性 机 器 学 习 





形成 对 比 。 例 如 ， 已 经 提 到 大 量 的 机 天 学 习 的 研究 涉及 监督 学 习 而 没有 明确 指定 
这 样 的 能 力 最 终 将 是 如 何 有 用 的 。 其 他 研究 人 员 已 经 研究 出 规划 一 般 目标 的 理 
论 ， 但 没有 考虑 在 实时 决策 中 计划 角色 ， 也 没有 考虑 规划 所 需 的 预测 模型 从 哪里 
来 的 问题 。 虽 然 这 些 方法 已 经 取得 了 很 多 有 用 的 成 果 ， 但 它们 专注 于 孤立 的 子 问 
题 是 一 个 明显 的 缺陷 。 造 成 这 些 缺 陷 是 因为 无 法 实时 交互 方案 和 缺少 主动 学 习 。 

在 某 些 方面 ， 强 化 学 习 不 同 于 更 为 广泛 的 有 计划 的 监督 学 习 问 题 。 最 重要 的 
区 别 是 没有 表示 输入 一 输出 对 。 相 反 ， 当 选择 一 个 动作 后 决策 者 会 被 告知 直接 的 
回报 和 随后 的 状态 ,但 并 不 会 告知 哪个 动作 能 获取 最 长 远 的 利益 。 有 必要 为 决 集 
者 收集 关于 可 能 的 系统 状态 、 动 作 、 转 换 和 回报 的 有 用 经 验 ， 并 积极 进行 优化 。 
从 监督 视角 看 男 一 个 差别 是 在 线性 能 ， 系 统 的 评估 往往 和 学 习 一 起 进行 。 

强化 学 习 采 用 相反 的 路 径 ， 它 是 从 完整 、 互 动 和 目标 追踪 的 决策 者 开始 。 所 
有 的 强化 学 习 决 策 者 都 有 明确 的 目标 ， 可 以 感知 环境 的 各 个 方面 ， 并 可 以 选择 动 
作 来 影响 环境 。 此 外 ,假设 从 一 开始 ， 决 策 者 必须 关于 所 面临 环境 的 虽然 有 意义 
但 不 确定 的 动作 。 当 强化 学 习 涉 及 规划 问题 时 ， 必 须 处 理 在 规划 和 实时 动作 选择 
间 的 相互 影响 ， 以 及 如 何 获取 和 改善 环境 模型 的 问题 。 当 强化 学 习 涉 及 监督 学 习 
时 ， 为 特定 的 原因 而 这 么 做 是 为 了 确定 哪些 功能 是 至 关 重 要 的 ， 而 哪些 不 是 。 

在 人 工 智能 (AI) 中 ， 强 化 学 习 的 某 些 方面 与 搜索 和 规划 问题 是 密切 相关 
的 ， 尤其 是 在 有 智能 决策 者 的 情况 下 。 人 工 智 能 搜索 算法 通过 状态 图 生成 一 个 符 
合 要 求 的 轨迹 图 。 搜 索 算法 的 重点 是 搜索 基于 知情 的 和 不 知情 的 方法 的 目标 状 
态 。 知 情 与 不 知情 方法 的 结合 类 似 于 知识 的 探索 与 开发 。 计 划 以 类 似 的 方式 运 
行 ， 但 通常 情况 下 ， 在 一 个 更 加 复杂 的 构造 图 中 ， 在 这 种 状态 下 由 逻辑 表达 式 组 
成 而 不 是 原子 符号 。 这 些 人 工 智能 算法 一 般 都 比 强化 学 习 方法 效果 差 ， 这 人 工 智 
能 除了 少数 例外 情况 都 要 求 有 状态 转换 的 预定 义 模型 。 这 些 方面 通常 通过 预定 义 
模型 和 良好 的 约束 来 限制 。 另 一 方面 ， 至 少 在 离散 形式 的 情况 下 ， 强 化 学 习 假 定 
可 以 列举 和 在 内 存 中 存储 整个 状态 空间 一 一 假设 传统 搜索 算法 并 不 相关 。 

强化 学 习 是 通过 与 动态 环境 相互 作用 ,决策 者 从 环境 中 学 习 的 问题 。 可 以 认 
为 他 们 是 学 习 决 策 者 ， 因 为 监督 者 并 不 会 告诉 决策 者 什么 动作 是 对 的 和 错 的 ， 不 
会 像 是 在 监督 学 习 中 的 情况 ， 其 中 的 相互 作用 的 本 质 是 反复 试验 。 主 要 有 两 种 策 
略 用 来 解决 这 个 问题 : 第 一 种 是 在 行为 空间 中 寻找 ， 找 到 可 以 体现 在 环境 中 良好 
工作 的 动作 行为 副 ; 另外 一 种 策略 是 基于 统计 学 技术 和 动态 编程 来 估计 动作 的 效 
果 和 达到 目标 的 概率 。 





















































1.9 强化 函数 和 环境 函数 


如 前 面 所 述 ， 强 化 学 习 不 仅仅 是 基于 以 获取 知识 的 信息 的 探索 。 相 反 ， 强 化 
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学 习 是 关于 开发 和 探索 之 间 的 平衡 。 这 里 的 开发 是 指 充分 利用 目前 以 获取 的 知 
识 ， 而 探索 是 指 探寻 新 的 行为 、 渠 道 和 途径 来 构建 新 的 知识 。 当 执行 探索 行为 
时 ， 通 过 奖励 或 者 惩罚 每 个 行为 都 可 以 导致 学 习 行 为 。 价 值 函 数 是 累积 效应 ， 而 
奖励 是 与 一 个 特定 的 自动 行为 有 关 。 环 境 需 要 在 动态 方案 下 被 建 模 以 致 可 以 提供 
优化 价值 的 正确 响应 。 这 里 强化 函数 受 环境 的 影响 ， 其 认可 强化 。 

图 1.6 描述 了 一 个 典型 的 强化 学 习 方 案 ， 这 些 行 为 从 环境 中 获取 奖励 。 其 日 
的 是 最 大 化 预期 贴现 回报 ， 也 称 为 价值 。 期 望 的 回报 为 

E {ry +yYr,s2 +Yr,s3 t+: 
这 里 贴现 率 是 0<y<1。 
最 后 关于 规则 P, 的 产生 价值 的 状态 s 是 人 们 所 感 兴趣 的 ， 并 被 计算 为 


V™ (s) = 五 7 {ri + yrs + yrss3 t+/s, =s| 





行为 


at 





图 1.6 强化 学 习 方 案 


总 之 ， 对 于 任何 行为 ， 都 有 环境 函数 和 强化 函数 。 将 在 后 面 的 内 容 里 更 详细 
地 处 理 这 些 函 数 。 


1.10 强化 学 习 的 需求 


独自 探索 和 开发 都 不 能 表现 出 智能 学 习 行 为 ， 这 种 行为 是 日 常生 活 和 复杂 问 
题 所 预期 的 。 两 者 都 充分 利用 的 技术 是 必需 的 。 当 一 个 小 孩 学 习 走 路 时 ， 就 要 充 
分 利用 监督 学 习 和 无 监督 学 习 的 方式 。 这 里 有 监督 的 输入 是 孩子 父母 给 的 ， 而 也 
有 可 能 尝试 对 相似 性 和 差异 性 的 对 象 进行 分 类 。 此 外 ， 小 孩 通 过 新 的 行为 探索 新 
的 信息 并 记 住 它 。 这 可 能 同时 发 生 。 当 孩子 正在 探索 知识 的 时 候 ， 他 们 也 探索 了 
他 们 新 行为 的 结果 ， 记 住 并 学 习 ， 建 立 知 识 基础 ， 这 可 能 在 未 来 生活 中 用 得 到 。 
事实 上 ， 环 境 的 探测 和 基于 奖励 与 惩罚 的 学 习 是 必需 的 ， 其 用 来 展示 日 常 绝 大 多 
数 方案 所 期 待 的 智能 行为 。 

举 个 一 个 智能 自动 化 的 拳击 训练 装置 例子 来 说 。 训 练 装置 需要 在 运行 过 程 中 
表现 得 越 来 越 智能 ， 并 会 遇 到 很 多 拳击 手 。 另 外 ， 训 练 装置 需要 适应 新 手 也 要 适 
应 专家 。 此 外 ， 当 候选 人 表现 出 更 好 的 性 能 时 ， 训 练 装置 也 要 提高 他 /她 的 性 能 。 
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这 种 非常 典型 的 学 习 行 为 是 从 强化 学 习 中 获取 的 ， 因 此 必须 去 解决 很 多 现实 问 
题 。 基 于 数据 和 感知 数据 模式 的 学 习 是 非常 普通 的 。 在 适合 时 间 点 ， 智 能 系统 都 
基于 认 知 或 者 认 知 序列 来 工作 。 这 里 的 认 知 是 关于 环境 的 智能 系统 的 观点 。 在 实 
时 和 动态 智能 系统 中 要 求 有 基于 认 知 的 有 效 学 习 。 因 此 ， 机 咒 学 习 智 能 需要 关于 
环境 的 学 习 、 探 索 新 途径 和 在 已 知 或 者 新 的 方案 中 展示 学 习 。 强 化 学 习 捕 提 了 这 
些 需 求 ， 因 此 强化 学 习 被 有 效 地 利用 于 动态 方案 。 














1.11 强化 学 习 和 机 器 智能 


不 断 变 化 的 环境 、 环 境 参数 和 许多 现实 生活 中 的 问题 的 动态 方案 使 机 器 很 难 
正常 工作 。 如 果 计 算 机 可 以 学 习 去 解决 问题 一 一 尽管 经 过 探索 、 尝 试 或 者 是 失 
败 一 一 也 将 有 巨大 的 使 用 价值 。 此 外 ， 有 很 多 并 不 知道 的 关于 环境 或 者 问题 方案 
来 构建 专家 系统 的 许多 方案 ， 甚 至 连 答案 都 不 知道 。 典 型 的 例子 就 是 汽车 控制 、 
飞行 需 控 制 等 ， 这 些 情 况 都 有 很 多 未 知 参 数 和 方案 。 “学习 如 何 去 实 现 不 知道 确 
切 目 标的 目标 直到 实现 这 个 目标 ”是 智能 系统 面临 的 最 复杂 的 问题 。 强 化 学 习 
拥有 所 有 问题 类 型 的 最 重要 的 一 个 优势 ， 即 更 新 的 优势 。 

每 一 刻 都 有 方案 变化 和 动态 的 现实 问题 下 的 环境 参数 。 举 个 例子 来 说 ， 一 个 
导弹 试图 打击 移动 目标 、 自 动 汽 车 驱动 融和 商业 智能 系统 一 一 在 所 有 这 些 情 况 
下 ， 最 重要 的 方面 是 从 探索 和 连续 作用 的 环境 响应 的 感知 中 学 习 。 随 着 在 行为 帮 
助 下 的 探索 ， 关 于 目标 的 信息 显露 出 来 。 这 种 学 习 模 式 有 助 于 人 们 在 没有 路 线 和 
类 似 情况 的 先 验 知识 的 情况 下 达到 目标 。 









































1.12 什么 是 系统 学 习 ? 


正如 前 面 所 讨论 的 ， 在 动态 方案 中 ,环境 的 角色 和 在 环境 作用 下 学 习 决 俩 者 
的 相互 关系 变 得 更 加 重要 。 有 趣 的 是 ， 决 定 环境 界限 和 理解 关于 环境 的 任何 行为 
的 奖励 和 惩罚 是 很 重要 的 事情 。 随 着 这 个 问题 变 得 越 来 越 复杂 和 困难 ， 在 动态 方 
案 中 确定 环境 也 变 得 非常 重要 。 此 外 ， 从 全 面 的 角度 理解 所 有 行为 的 影响 是 很 必 
要 的 。 在 这 种 情况 下 可 能 需要 考虑 关于 系统 的 感知 的 顺序 ， 这 使 得 有 必要 进行 系 
统 性 学 习 。 事 实 是 ， 有 时 候 奖 励 可 能 不 会 立即 反馈 然而 可 能 需要 考虑 关于 行为 的 
系统 相互 作用 。 奖 励 、 处 罚 甚 至 合成 价值 都 需要 系统 性 地 计算 。 为 了 提出 系统 性 
的 决策 ， 就 需要 系统 性 的 方式 学 习 。 所 有 在 系统 界限 内 的 系统 输入 的 捕获 和 构建 
中 的 感知 是 必需 的 。 

考虑 到 在 正确 的 系统 界限 内 的 系统 和 子 系统 的 相互 作用 ， 用 一 个 完整 的 系统 
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学 习 是 系统 性 学 习 。 因 此 ， 子 系统 的 部 分 动态 行为 和 可 能 的 相互 作用 可 以 定义 任 
何 行为 的 真实 奖励 。 这 就 需要 系统 地 学 习 。 


1.13 什么 是 系统 性 机 器 学 习 ? 


用 系统 性 的 方法 使 得 机 器 进行 学 习 就 是 系统 性 机 器 学 习 。 扳 立 的 学 习 是 不 完 
备 的 一 一 此 外 ， 还 有 没有 办 法 理解 的 行为 对 环境 的 影响 和 达成 目标 的 长 期 前 景 。 
但 是 ， 系 统 性 机 如 学 习 的 其 他 一 些 方 面 是 为 了 了 人 解 系 统 界限 ,决定 系 统 的 相互 作 
用 ， 同 时 也 尝试 显现 系统 和 子 系统 的 各 种 行为 的 影响 。 系 统 性 知识 构建 更 多 的 是 
构建 完整 的 知识 。 因 此 ， 这 里 不 可 能 是 一 个 孤立 的 决策 者 ， 而 是 用 不 同方 式 感 知 
环境 的 智能 决策 因素 的 机 制 来 理解 关于 环境 的 任何 行为 的 影响 。 这 进一步 导致 构 
建 全 面 的 了 解 ， 然 后 基于 收 到 和 推断 的 系统 性 回报 决定 最 优 行为 。 系 统 界 限 不 断 
变化 ， 环 境 功 能 在 传统 的 学 习 未 能 探索 多 目标 复杂 的 方案 。 此 外 ， 需 要 创建 系统 
性 观点 ， 系 统 机 器 学 习 试 图 建立 这 种 系统 性 的 观点 ， 使 系统 进行 学 习 并 能 拥有 系 
统 决 策 的 能 力 。 将 在 第 2 音 和 第 3 章 中 讨论 系统 性 机 器 学 习 的 各 个 方面 。 


























1.14 系统 性 机 器 学 习 的 重点 


学 习 系 统 可 以 解决 许多 现实 问题 ， 但 是 并 不 容易 让 机 器 进行 系统 性 的 学 习 。 
开发 工作 在 隔离 环境 的 学 习 系 统 是 很 容易 的 ， 但 对 于 开发 系统 性 学 习 系 统 必 须 捕 
换 关 于 系统 的 许多 观点 和 知识 。 很 容易 开发 工作 在 隔离 环境 的 学 习 系 统 ， 但 对 于 
系统 性 学 习 系 统 有 必要 捕捉 关于 系统 的 许多 意见 和 知识 。 对 于 许多 只 是 基于 感知 
甚或 系列 感知 的 智能 系统 ， 是 不 可 能 建立 一 个 系统 视图 的 。 此 外 ， 为 了 解决 这 些 
问题 ， 并 简化 问题 去 描绘 一 个 系统 图 ， 有 必要 继续 进行 几 个 假设 ， 并 且 其 中 的 一 
些 假设 不 允许 通过 可 能 的 最 佳 方式 构建 系统 图 。 为 了 解决 许多 复杂 的 系统 性 机 器 
学 习 ， 需 要 去 建立 复杂 的 模型 ， 而 在 没有 知识 的 目标 的 情况 下 ， 有 关 的 假设 决策 
变 得 很 环 手 。 

在 系统 性 思维 理论 里 因 和 果 可 以 在 时 间 和 空间 上 分 开 ， 因 而 理解 系统 内 任何 
行动 的 影响 不 是 一 件 容 易 的 事 。 例 如 ， 在 一 些 情况 下 开 出 了 药品 但 不 能 立即 看 到 
结果 。 在 理解 这 一 行动 的 影响 时 ， 需 要 确定 时 间 和 系统 边界 。 决 策 者 随 着 任意 行 
动 改 变 其 状态 ， 那 么 系统 和 子 系统 也 将 改变 其 状态 。 这 些 状 态 转换 的 映射 操作 是 
最 大 挑战 之 一 。 其 他 挑战 包括 有 限 的 信息 、 理 解 和 确定 系统 边界 ， 捕 获 系统 信息 
及 构建 系统 知识 。 在 后 续 章 节 将 更 详细 地 讨论 带 有 这 些 挑 战 系 统 性 学 习 范 例 和 克 
服 它们 的 方法 。 
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1.15 强化 性 机 器 学 习 和 系统 性 机 器 学 习 


强化 学 习 和 系统 性 机 带 学 习 有 着 相同 之 处 也 有 细微 的 差别 。 有 趣 的 是 ， 强 化 
学 习 和 系统 性 机 融 学 习 都 是 基于 相同 的 动态 方案 基础 。 此 外 ， 强 化 学 习 仍然 是 更 
多 地 以 目标 为 中 心 而 系统 性 学 习 是 全 面 的 。 系 统 性 机 器 学 习 的 概念 涉及 探究 ， 但 
更 多 的 推力 是 了 解 一 个 系统 及 其 在 任何 行为 对 系统 的 影响 。 系 统 性 机 器 学 习 的 奖 
励 和 价值 测算 更 加 复杂 。 系 统 性 机 器 学 习 代表 系统 的 奖励 作为 系统 报酬 函数 。 从 
各 子 系统 获得 的 奖励 及 其 累积 效应 被 表示 为 一 个 行为 的 奖励 。 另 一 个 重要 的 事 是 
推测 出 的 奖励 。 系 统 性 机 融 学 习 不 仅仅 只 有 探究 ， 因 此 其 回报 是 推测 出 的 。 这 个 
推断 并 不 局 限于 当前 状态 ,但 它 也 从 当前 状态 推断 为 n 个 状态 。 这 里 n 是 推断 周 
期 。 由 于 原因 和 效果 能 够 在 时 间 和 空间 上 是 分 制 的 ， 因 而 奖励 在 整个 系统 中 累 
耻 ， 而 推断 奖励 可 从 未 来 的 状态 中 累积 。 












































1.16 车 辆 检测 问题 的 案例 研究 


在 第 2 章 中 将 详细 讨论 ,一 个 系统 由 共同 创造 价值 的 相互 关联 部 分 组 成 。 一 
辆 汽车 就 是 一 个 系统 。 当 车 辆 发 生起 动 故障 时 ， 表 明 可 以 改变 点 火 系统 。 在 强化 
学 习 时 ， 可 以 改变 点 火 系统 并 让 汽车 正常 工作 ; 而 8 ~ 10 天 过 后 再 次 起 动 汽车 又 
会 出 现 同 样 的 问题 。 这 时 候 让 机 修 工 再 次 改变 点 火 系统 。 这 一 次 ， 他 使 用 了 更 高 
质量 的 点 火 系 统 。 问 题 得 到 解决 而 车 主 获得 了 积极 的 奖励 。 之 后 一 个 星期 左右 汽 
车 开始 再 次 起 动 困 难 。 将 整个 系统 纳入 考虑 范围 可 以 帮助 解决 这 些 类 型 的 问题 。 
在 这 个 问题 发 生 之 前 安装 的 中 央 锁 定 系 统 导致 这 一 事件 。 由 于 没有 考虑 中 央 锁 定 
系统 对 于 整个 系统 的 影响 ， 因 此 存在 的 问题 仍然 没有 被 人 注意 和 人 解决。 在 这 里 ， 
可 以 看 出 原因 和 效果 在 时 间 和 空间 上 是 分 开 的 ， 因 此 没有 人 注意 中 央 锁 定 系 统 。 
在 系统 性 机 器 学 习 中 ， 把 汽车 作为 一 个 系统 考虑 ， 中 控 锁 的 影响 是 参照 一 个 完整 
的 系统 去 检查 的 ， 也 就 是 完整 的 汽车 ， 因 此 ， 可 以 用 一 个 更 好 的 方法 解决 这 个 


问题 。 




















1.17 小 结 


决策 是 一 个 复杂 的 功能 。 人 们 对 智能 系统 的 期 望 与 日 俱 增 。 孤立 的 和 基于 数 
据 的 智能 不 再 满足 用 户 的 需求 。 现 今 有 解决 复杂 决策 问题 的 需求 。 要 做 到 这 一 
点 ， 需 要 利用 现 有 的 知识 ， 同 样 也 要 探索 新 方法 和 途径 。 这 会 与 环境 情况 相关 ， 
环境 为 任何 动作 提供 奖励 。 累 计 的 奖励 被 用 于 强化 学 习 并 决定 行为 策略 。 强 化 学 
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习 就 像 是 和 评论 家 学 习 一 样 。 一 旦 执行 一 个 动作 ， 一 个 评论 家 评论 它 ， 并 提供 反 
。 强 化 学 习 在 动态 和 变化 方案 下 非常 有 用 ， 例 如 拳击 训练 、 足 球 训练 和 商业 智 
等 。 

尽管 强化 学 习 非 常 有 用 并 能 抓 住 许多 复杂 问题 的 本 质 ， 但 是 现实 问题 更 具 系 
统 性 。 然 而 ， 系 统 性 行为 的 基本 原则 之 一 是 其 目标 和 效果 在 时 间 和 空间 上 分 离 。 
它 非 常 适用 于 现实 生活 中 的 许多 问题 。 这 里 需要 系统 性 的 解决 这 些 复杂 问题 的 决 
策 。 为 了 进行 系统 决策 ， 需 要 系统 性 地 学 习 。 系 统 性 机 融 学 习 包 括 制 定 一 个 机 顺 
学 习 系统 。 为 了 系统 性 学 习 ， 需 要 了 解 系统 边界 、 子 系统 之 间 的 关系 和 随机 行为 
参照 系统 的 影响 。 系 统 影响 函数 用 来 确定 这 种 影响 。 随 着 更 广泛 和 全 面 的 系统 知 
识 的 出 现 ， 强 化 学 习 可 以 用 更 有 条 理 的 方式 处 理 复杂 决策 问题 并 提供 最 优 的 决策 
方案 。 
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第 2 章 全 系统 原理 、 系 统 性 和 多 视角 的 机 器 学 习 


2.1 简介 


正如 第 1 章 所 说 ， 学 习 指 的 是 基于 输入 一 输出 映射 关系 的 数学 表达 式 、 数 据 
和 经 验 的 推测 。 这 通常 以 数据 为 中 心 ， 这 些 数据 要 么 是 基于 模式 的 ， 要 么 基于 事 
件 存在 的 。 这 里 的 事件 是 用 于 学 习 的 相关 联 的 单一 事件 ， 而 模式 是 指 重复 发 生 的 
类 似 事 件 。 事 件 拥有 一 些 特性 ， 而 这 些 特征 被 用 于 学 习 。 

学 习 一 般 以 参考 局 部 边界 为 界 ， 通 常 这 些 边界 定义 了 系统 的 有 效 区 域 。 来 自 
这 个 区 域 用 于 学 习 的 样本 被 称 为 学 习 集 ， 用 于 训练 系统 的 学 习 集 通常 是 感知 决策 
空间 的 表示 ， 决 策 被 限制 在 区 域 边界 内 。 一 个 重要 的 问题 将 被 问 到 ， 即 搜索 空间 
是 什么 和 理想 边界 应 该 在 哪里 。 理 解 关 于 决策 问题 的 相关 信息 是 一 件 复杂 和 亚 手 
的 问题 。 

系统 性 决策 的 概念 是 基于 系统 考虑 而 做 决策 ， 系 统 决 策 是 指 系统 边界 而 非 局 
部 信息 限制 的 局 部 边界 。 系 统 学 习 意 味 着 从 系统 的 视角 学 习 。 系 统 性 学 习 处 理 关 
于 系统 的 学 习 问题 ， 考 虑 到 不 同系 统 的 相互 作用 和 相互 关系 来 做 出 最 好 的 决策 。 
它 考 虑 到 相关 系统 和 子 系统 具有 类 似 的 现状 和 行为 的 历史 数据 、 模 式 和 旧事 件 。 
此 外 ， 这 里 考虑 了 任意 决策 对 其 他 系统 组 件 的 影响 和 与 系统 其 他 部 分 的 相互 
作用 。 

本 章 讨论 了 系统 性 学 习 的 必要 性 和 选择 性 地 使 用 学 到 的 信息 来 产生 所 需 的 结 
果 。 系 统 学 习 试 图 捕捉 决策 的 整体 视图 。 0 
可 见 关 系 的 事件 和 空间 数据 。 如 果 详 细 分 析 系 统 性 学 习 ， 它 留 下 一 些 学 习 中 所 要 
求 的 基础 部 分 内 容 未 触及 ， 而 学 和 Rn 
统 学 习 试 图 得 到 两 全 其 美 。“ 全 局 系统 学 习 ” 将 传统 机 器 学 习 的 概念 与 系统 思 
考 、 系 统 学 习 、 系 统 性 学 习 和 生态 学 习 相 结合 。 该 学 习 最 重要 的 部 分 是 了 解 甚或 
理解 系统 、 子 系统 、 各 种 系统 的 重 释 及 它们 的 交互 作用 。 这 是 由 邻 域 的 影响 、 交 
互 作用 和 点 的 影响 来 共同 决定 的 。 学 习 的 最 重要 的 部 分 是 确定 和 强调 最 高 杠杆 点 
而 做 出 任何 决定 或 指导 任何 动作 ， 这 里 的 最 高 杠杆 点 是 指 可 以 带 来 最 好 结果 的 时 
间 和 决策 点 。 参 照 这 些 决策 点 做 出 积极 和 消极 的 行为 是 最 重要 的 方面 。 比 如 ， 按 
摩 中 需要 在 特定 最 高 杠杆 点 应 用 最 优 压力 。 甚 至 在 一 些 药物 中 ， 药 物 的 效果 同样 
取决 于 加 药物 的 时 机 。 此 外 ， 这 些 最 高 杠杆 点 随 着 方案 和 背景 变化 而 不 断 改 变 。 
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学 习 应 该 使 得 在 变化 的 动态 方案 中 的 定位 最 高 杠杆 点 变 得 可 能 。 

系统 性 学 习 包 括 不 同 的 相关 性 和 相互 依赖 性 的 分 析 并 动态 地 确定 这 些 杜 杆 
点 。 学 习 的 男 外 一 个 重要 方面 是 在 这 些 最 高 杜 杆 点 工作 。 本 章 引 入 了 选择 性 和 全 
系统 学 习 的 概念 及 在 现实 方案 中 的 进一步 实现 。 

为 了 使 系统 性 学 习 变 为 可 能 ， 需 要 系统 的 全 局 信息 。 为 此 需要 系统 性 决策 分 
析 ， 为 了 做 到 这 一 点 ， 需 要 多 视图 和 多 视角 的 学 习 ， 从 特定 或 可 见 或 可 获得 的 视 
角 学 习 可 以 建立 全 局 的 信息 。 在 信息 或 认 知 缺失 的 条 件 下 决策 可 能 是 一 个 非常 困 
难 的 任务 。 


2.1.1 什么 是 系统 性 学 习 ? 


系统 性 学 习 是 在 决策 之 前 考虑 整 系统 、 子 系统 及 其 相互 作用 ， 这 些 信息 被 称 
为 系统 性 信息 。 系 统 性 学 习 包 括 系统 的 识别 和 构建 系统 性 信息 。 这 些 信息 是 关于 
系统 性 影响 的 视角 来 建立 的 ， 这 种 学 习 包 括 多 个 视角 和 系统 各 部 分 的 数据 采集 。 
此 外 ， 它 还 包括 数据 和 决策 分 析 的 相关 影响 ， 决 策 是 学 习 过 程 中 的 一 部 分 ， 每 个 
决策 及 其 结果 都 伴随 着 学 习 过 程 ， 每 一 次 决策 和 基于 决策 的 学 习 都 伴随 着 知识 的 
增加 ， 这 种 学 习 是 相互 作用 的 ， 受 环境 包括 系统 各 部 分 的 影响 。 学 习 的 系统 相关 
性 是 可 控 的 ， 且 限于 特定 的 问题 和 系统 。 

系统 性 学 习 启 发 于 系统 性 的 思考 。 系 统 性 学 习 是 包括 理解 系统 、 子 系统 以 及 
各 种 动作 的 系统 性 影响 ,在 系统 中 且 在 系统 性 环境 下 进行 决策 。 系 统 性 学 习 更 可 
以 说 是 从 系统 性 的 视角 来 看 的 动作 和 相互 作用 的 学 习 。 

图 2. 1 试图 强调 系统 性 和 分 析 性 思维 之 间 的 区 别 。 

图 2. 1 试图 描述 分 析 性 思维 、 系 统 性 思维 及 全 局 系统 学 习 之 间 的 关系 。 系 统 
思维 包括 分 析 和 综合 思考 。 录 辑 映 射 和 推理 结合 系统 性 思维 及 其 他 方面 就 构建 了 
全 局 学 习 系 统 的 平台 。 综 合 思维 处 理 观 察 和 事实 方面 的 问题 ， 并 结合 不 同 的 元 素 
构成 一 个 整体 。 综 合 思 维 是 在 基于 事实 和 观察 的 全 局 系统 方面 进行 考虑 。 决 策 时 
一 般 要 关注 搜索 空间 、 决 策 空间 和 动作 空间 。 系 统 空 间 是 受 决策 影响 和 依赖 关系 
限制 的 空间 。 

如 果 想 要 从 某 一 情况 得 到 不 同 的 结果 ， 必 须 用 提供 不 同 输出 方式 的 方法 来 改 
变 文 撑 现 状 的 系统 。 系 统 性 思维 透 过 元 素 发 现 和 关注 主题 ， 而 分 析 思 维 是 选择 和 
关注 最 有 吸引 力 或 前 景 的 元 素 。 有 趣 的 是 要 得 到 更 好 和 持续 的 输出 结果 ， 两 种 思 
维 方式 都 需要 。 但 是 在 某 些 条 件 下 他 们 会 导致 相互 冲突 的 决策 。 

图 2. 2 描述 了 分 析 性 思维 和 系统 性 思维 的 特点 。 分 析 性 思维 允许 选择 一 个 元 
素 ， 而 系统 性 思维 需要 找到 一 个 主题 。 分 析 性 思维 可 以 扩展 到 一 个 模式 ， 虽 然 主 
题 有 更 多 的 维度 且 它 不 指向 某 个 决定 ， 但 却 可 以 构建 决策 的 指导 原则 。 系 统 性 决 
策 包 括 系 统 性 建 模 、 系 统 性 问题 的 解决 和 系统 性 决策 。 
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原因 分 析 系统 性 思考 
T 
1 
0 分 析 思 纹 | 合成 思维 
1 
到 2.1 系统 性 学 习 概 念 
在 现实 生活 中 ， 一 直 仅仅 拥 系统 性 思维 





上 y 素 
ll 尽 可 能 多 地 举例 出 下 一 找到 二 是 


碎 的 画面 。 这 些 可 用 的 信息 是 有 
自己 思维 的 偏见 或 观察 视角 的 偏 分 析 性 思维 
见 ， 总 之 ， 收集、 解释 、 按 所 可 于 ，， 岂 选择 一 个 
用 信息 或 来 自 一 个 特定 的 视角 。 加 B= 
因此 ， 这 些 信息 使 人 们 的 视野 受 本 
到 限制 ， 以 至 于 由 这 些 信息 形成 
的 决策 未 能 考虑 到 超出 有 效 视野 后 决策 的 影响 。 因 此 这 是 一 个 不 全 面 的 观点 ， 这 
些 决策 的 影响 总 是 从 一 个 特定 的 视角 和 那些 可 见 范围 内 研究 。 没 有 可 用 性 综合 信 
息 ， 系 统 性 决策 是 不 可 能 的 。 简 言 之 ， 缺 乏 系统 性 学 习 系统 性 决策 是 不 可 能 的 ， 
因此 系统 性 决策 要 求 系统 性 或 综合 性 信息 构建。 

系统 性 学 习 是 关于 学 习 能 力 的 建立 并 使 系统 决策 成 为 可 能 。 现 实 问题 是 复杂 
的 ， 所 有 的 动作 都 是 相互 依赖 的 。 此 外 ， 决 策 和 行动 影响 的 可 预见 性 受到 系统 视 
野 和 时 间 视野 的 限制 。 系 统 性 学 习 的 目的 是 通过 学 习 和 推理 扩展 时 间 视野 和 系统 
视野 的 边界 。 系 统 性 学 习 工 作 就 像 是 一 个 比 别 人 地 位 更 高 的 专家 ， 就 在 自己 的 令 
域 做 决策 而 论 ， 比 没有 正确 推理 技能 和 所 需 知识 超过 了 自己 能 力 范围 的 人 要 强 。 


2.1.2 历史 


系统 性 思维 并 不 新 鲜 ， 研 究 人 员 人 研究 这 个 领域 已 有 一 个 世纪 。 在 印度 、 中 国 
及 埃及 的 哲学 中 可 以 发 现 提 及 系统 性 思维 和 使 用 这 种 模式 的 哲学 家 。 系 统 性 思维 
从 管理 视角 提出 和 发 展 而 来 ， 由 Peter Senge 所 著 的 《第 五 项 修炼 》 (Fifth Disci- 
pline) 使 其 变 得 普及 ， 并 成 为 一 个 行 之 有 效 的 管理 技术 上 。 这 是 进一步 用 于 开 
发 诸多 管理 和 决策 的 工具 ， 系 统 性 学 习 是 关于 使 用 系统 性 思维 的 ， 而 学 习 和 系统 
性 机 需 学 习 是 关于 系统 性 学 习 用 于 机 融 学 习 的 。 系 统 性 学 习 并 不 是 一 个 新 领域 ， 
本 章 提供 了 各 种 系统 性 学 习 的 发 展 历 史 和 使 机 器 系统 学 习 成 为 可 能 的 传统 机 器 学 
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习 方法 。 
2.2 什么 是 系统 性 机 器 学 习 ? 


定义 系统 性 机 器 学 习 的 最 好 方法 如 下 : 

系统 性 机 融 学 习 是 使 机 融 能 够 智能 地 做 系统 性 决策 的 学 习 〈 基 于 经 验 的 学 
习 ) 这 里 的 机 器 学 习 是 使 机 器 人 具有 从 经 验 中 学 习 的 能 力 ， 使 之 能 够 在 复杂 或 
不 是 很 复杂 或 新 的 环境 中 做 决策 。 机 器 学 习 活 动 是 使 机 器 人 从 经 验 中 学 习 ， 这 些 
经 验 的 形式 包括 历史 数据 、 数 据 集中 的 历史 例子 和 特征 向 量 。 在 机 带 学 习 中 历史 
信息 和 未 来 趋势 是 用 于 学 习 并 做 决策 的 。 

在 系统 性 机 咒 学 习 中 ， 理 解 和 定义 决策 问题 的 系统 空间 是 必 不 可 少 的 。 用 于 
学 习 的 数据 需要 描述 整个 系统 的 特征 。 系 统 性 机 融 学 习 用 历史 信息 、 数 据 和 推论 
使 机 器 人 能 够 做 决策 。 因 为 来 自 全 局 系统 的 数据 经 常 是 无 效 的 ， 并 且 对 系统 的 分 
析 和 不 同 部 分 的 相互 作用 是 不 可 见 的 。 所 以 在 这 些 信息 缺失 的 情况 下 要 开发 获得 
这 些 信 息 的 能 力 并 基于 可 用 的 信息 来 构建 知识 网 络 。 机 器 也 需要 不 断 地 升级 它们 的 
知识 库 从 而 能 更 好 地 做 决策 。 这 是 超出 使 用 信息 和 推断 影响 的 整体 机 器 学 习 方法 。 

决策 者 的 视觉 图 如 图 2. 3 所 示 ， 决 策 者 仅仅 可 以 看 到 总 体系 统 的 一 部 分 。 依 
然 有 某 些 子 系统 或 子 系统 的 某 些 部 分 是 决策 者 看 不 到 的 。 类 似 的 ， 如 图 中 虚线 所 
描述 的 一 些 决策 的 影响 是 决策 者 看 不 到 的 。 视 野 受 时 空 的 限制 ， 推 新 和 使 在 视野 
之 外 的 时 空 不 可 见 的 影响 显现 是 系统 学 习 面 临 的 挑战 。 

图 2. 4 描述 了 汽车 系统 决策 的 影响 图 表 ， 汽 车 的 各 部 分 有 依赖 关系 ， 有 的 是 
明显 可 见 的 ， 而 有 的 则 不 明显 。 从 这 个 例子 中 可 以 看 出 各 部 分 间 的 依赖 关系 。 
为 了 学 习 汽 车 ,修理 或 解决 问题 ,机修 工 必须 具有 系统 性 视野 ， 因 为 一 个 部 
分 的 改变 将 会 对 其 他 部 分 造成 影响 。 例 如 ， 当 我 在 我 的 车 上 安装 中 央 锁 ， 我 的 车 
开始 出 现 起 动 问题 ， 机 修 工 要 花费 2 天 的 时 间 来 识别 问题 。 典 型 的 中 央 锁 控 系 统 
的 依赖 关系 如 图 2. 4 所 示 。 这 类 问题 是 由 于 缺乏 系统 性 视野 、 缺 乏 机 械 知识 以 及 
不 能 把 原因 和 结果 在 时 空中 分 开 来 所 导致 的 。 系 统 空间 的 概念 非常 重要 ， 它 是 最 
优 系统 性 学 习 需 要 考虑 的 活跃 区 域 。 在 上 面 的 例子 中 它 可 以 是 整个 车 或 车 上 的 某 
些 电 路 系统 。 


2.2.1 基于 事件 的 学 习 


基于 事件 的 学 习 是 学 习 中 的 一 种 基本 形式 ， 这 是 学 习 空 间 为 一 个 事件 的 特殊 
情况 ， 所 有 的 模型 和 推理 都 是 基于 单一 事件 。 在 有 监督 学 习 中 特定 事件 的 发 生 有 
时 作为 一 个 决策 参数 ， 在 构建 决策 预案 中 该 事件 扮演 一 个 很 重要 的 角色 。 用 一 些 
重要 的 事件 达到 学 习 的 目标 并 在 后 期 做 出 决策 。 为 了 避免 基于 事件 的 学 习 可 能 
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决策 者 视角 一 





一 决策 影响 
NVDI 一 看 不 见 的 决策 影响 























图 2.3 系统 视觉 框图 
音乐 系统 布线 
机 械 按 键 解码 门 微 开 传感器 
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图 2.4 
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外 部 光线 控制 
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致 的 错误 决策 ， 需 要 确保 它 基 于 一 定 的 模式 ， 虽 然 如 此 ， 基 于 事件 的 学 习 不 能 
弃 ， 并 且 基 于 模式 的 学 习 不 一 定 总 是 最 好 的 解决 方法 。 所 以 系统 性 学 习 并 不 是 强 
加 一 个 决策 机 制 ， 而 是 容许 按照 问题 的 利弊 来 选择 做 出 决策 。 

如 图 2.5 所 示 的 基于 事件 的 学 习 系 统 是 从 事件 中 学 习 ， 并 且 输 出 学 习 的 决 
策 ， 当 事件 不 能 反映 决策 空间 的 真实 问题 或 行为 的 时 候 这 种 学 习 容 易 产生 错误 。 

用 模式 学 习 蔡 代 事 件 学 习 ， 这 种 源 于 一 系列 事件 结果 的 模式 是 推动 决策 。 基 
于 模式 的 学 习 克 服 了 基于 事件 学 习 容易 受 单 事件 影响 的 缺点 。 重 复发 生 的 类 似 事 
件 或 统计 模式 被 用 于 学 习 。 在 这 种 情况 下 ， 假 定 模式 代表 了 决策 空间 的 行为 。 典 
型 的 基于 模式 的 学 习 如 图 2.6 所 示 。 



























































E1, E2,…, En 系列 事件 | 
| 输出 
分 析 和 模式 提取 
事件 -一 
输出 |: \ 
学 习 > 学 习 
图 2.5 基于 事件 的 学 习 图 2.6 基于 模式 的 学 习 














结构 学 习 : 结构 学 习 使 用 信息 模式 ,但 这 种 学 习 是 基于 系统 结构 框架 的 。 在 
系统 性 学 习 中 ， 基 于 模式 、 基 于 事件 和 基于 结构 的 学 习 都 会 用 到 。 所 有 与 结构 匹 
配 的 事件 和 模式 信息 的 输入 都 会 用 于 学 习 中 。 

系统 性 机 天 学习 充 分 利用 历史 信息 来 识别 模式 ， 用 它 来 识别 系统 和 不 同 子 系 
统 的 交互 作用 及 系统 的 结构 。 新 事件 产生 的 映射 用 于 强化 决策 。 系 统 性 学 习 使 用 
关于 系统 的 知识 和 基于 先 验 学 习 的 推断 学 习 的 系统 性 影响 。 推 断 包 括 基于 时 间 的 
推测 。 系 统 性 学 习 在 系统 空间 中 起 作用 ， 而 决策 是 理论 性 的 。 














2.3 广义 系统 性 机 器 学 习 框架 





图 2. 7 提供 了 一 个 系统 性 机 天 学 习 的 框架 。 系 统 结构 是 指 各 种 内 置 假设 ， 及 
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对 这 些 系统 学 习 重 要 假设 的 学 习 和 理解 。 框 架 中 系统 性 学 习 用 历史 数据 、 系 统 识 
别 及 结构 、 交 互 学 习 及 视角 理解 作为 输入 。 用 这 些 输入 的 信息 来 识别 系统 中 最 高 
杠杆 点 。 推 理 机 用 以 上 的 分 析 来 提供 影响 分 析 ， 系 统 利 用 决策 方案 和 决策 视角 及 
影响 分 析 来 构建 决策 矩阵 ， 这 就 是 学 习 的 输出 。 决 策 和 矩阵 用 于 提供 解决 方案 ， 在 
系统 性 决策 中 ， 学 习 的 过 程 是 连续 的 ， 决 策 的 过 程 是 相互 作用 的 。 在 系统 性 学 习 
过 程 中 不 断 地 探索 系统 结构 及 影响 来 产生 决策 矩阵 。 交 互 式 的 学 习 人 允许 学 习 系 统 
识别 最 好 的 决策 及 找到 最 高 杜 杆 点 。 


























































































































历史 数据 系统 识别 系统 影响 学 习 视角 学 习 
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决策 方案 影响 分 析 决策 视角 
| 
决策 矩阵 











图 2.7 系统 性 学 习 


说 明 : 框架 试图 捕捉 系统 的 相互 作用 并 确定 关于 最 高 杠杆 点 的 决策 矩阵 。 有 
趣 的 是 最 高 杠杆 点 有 位 置 和 时 间 两 方面 ， 它 是 关于 什么 时 候 做 决策 和 在 哪个 系统 
点 上 实施 。 决 策 和 矩阵 代表 并 考虑 了 所 有 的 决策 视角 和 方案 ， 从 而 有 助 于 框架 做 最 
优 的 决策 。 影 响 分 析 模 块 是 环境 与 系统 交互 影响 和 产生 决策 矩阵 的 原因 。 
推断 的 系统 空间 是 否 是 固定 的 及 是 否 针 对 具体 的 问题 成 立 依然 是 一 个 问题 ， 
在 2. 3.1 节 中 ， 将 讨论 系统 及 相关 系统 空间 的 内 容 。 
2.3.1 系统 定义 

在 现实 生活 中 大 多 时 候 似乎 定义 一 个 系统 是 很 清晰 的 。 但 其 实 要 比 看 上 去 的 
复杂 得 多 。 系 统 的 目标 是 使 它 所 有 的 部 分 共同 工作 。 简 言 之 ， 一 个 完整 的 系统 是 
为 了 目标 共同 工作 。 一 个 巨大 的 系统 包括 宇宙 中 的 每 一 个 物体 。 系 统 是 各 组 成 部 
分 共同 工作 而 实现 特定 的 功能 ， 没 有 各 部 分 的 共同 工作 功能 无 法 实现 ， 即 使 任意 
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一 个 组 成 部 分 的 缺失 系统 都 不 能 有 效 工 作 。 

为 了 减少 分 析 决 策 影响 的 复杂 度 ， 系 统 可 以 定义 如 下 : 

由 相互 作用 和 相互 依赖 的 资源 和 程序 单元 并 可 实现 一 定 功能 的 任意 组 织 。 或 
者 由 人 员 、 装 备 、 方 法 组 成 去 实现 一 定 功能 的 集合 。 

任意 两 元 素 之 间 的 相关 性 大 于 属于 子 系统 $S_s 的 方案 5 的 d 时， 所 有 的 这 
些 子 集 集 合 形成 了 一 个 子 系统 。 所 有 的 子 系统 是 基于 显著 依赖 和 整体 决策 方案 的 
系统 的 子 集 。 在 特定 子 系统 与 其 他 子 系统 有 非常 低 的 依赖 关系 的 情况 下 ， 该 子 系 
统 就 形成 了 它 自己 的 系统 ， 系 统 的 边界 由 与 其 他 系统 的 交互 作用 和 依赖 关系 所 决 
定 。 在 现实 环境 中 整个 世界 本 身 就 是 一 个 系统 ， 这 在 所 有 的 情况 下 都 是 对 的 。 但 
为 了 系统 的 数学 表示 和 简化 成 为 可 能 ， 需 要 排除 其 中 一 部 分 较 低 相关 性 的 区 域 。 
这 不 仅 使 系统 性 学 习 成 为 可 能 ， 而 且 使 其 变 得 有 效率 。 

如 果 依 赖 率 > d， 则 方案 或 物体 S 属于 子 系统 /系统 S$_ s 

在 这 里 相关 性 代表 物体 与 系统 之 间 的 关系 。 相 关 性 可 以 帮助 确定 系统 空间 。 
感知 序列 的 另 一 个 方面 是 它 是 与 时 间 有 关 的 。 大 多 时 候 ， 在 认 知 层面 影响 和 结 
是 可 见 的 ， 且 是 在 时 间 上 是 分 离 的 。 

因果 关系 在 一 定 情 况 下 在 时 间 上 可 能 是 分 离 的 。 当 处 理 因 果 关 系 是 分 离 的 情 
况 时 ， 不 同时 间 的 实例 的 结果 容许 进行 推论 。 图 2. 8 描述 的 是 子 系统 影响 和 结 
在 时 间 7 ,~ 了 ,之 间 的 输出 。7, ~ 的 感知 序列 有 助 于 提供 系统 空间 的 视角 ， 
它 可 以 帮助 推断 系统 的 行为 。 

决策 或 动作 






































子 系统 S1 到 sm 的 影响 
图 2.8 时间 变量 





这 些 模 式 和 依赖 关系 逐渐 形成 或 者 已 经 实现 了 一 段 时 间 。 这 就 是 模式 一 直 在 
变化 的 原因 。 再 者 ， 此 时 各 种 影响 关系 、 因 果 关 系 的 可 见 性 是 分 离 的 ， 且 这 些 指 
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标 需 要 被 跟踪 。 系 统 性 学 习 系 统 需要 捕捉 这 些 信息 。 

这 里 需要 映射 因果 关系 。 不 了 解 视 图 边界 之 外 的 影响 时 ， 孤 立 的 决策 可 能 不 
会 产生 预期 的 结果 。 图 2. 9 描述 了 一 个 典型 的 时 域 因 果 的 例子 。 在 这 个 例子 中 ， 
由 于 苹果 的 短缺 需要 提高 苹果 的 产量 ， 从 而 导致 市 场 上 出 现 过 量 的 苹果 ， 导 致 农 
民 以 很 低 价 出 售 苹果 而 使 他 们 的 金钱 流失 。 接 下 来 几 年 农民 就 不 再 愿意 种 苹果 ， 
最 终 本 想 增加 苹果 产量 的 决策 却 导 致 了 荚果 的 短缺 。 











需求 少 , 供应 多 





决策 或 动作 > 
市 场 上 苹果 供给 多 价格 下 降 
| 
1 | 建议 产量 减 小 
便 果 产量 大 ' ' \ | 
1 1 | | 
= 
T= 了 0 | | ! ' 
| 1 | 
1 I | | 
1 1 | ! ' 
1 I | ! ' 
1 1 | | 
Fs T=T2 T=Ts T=T4 T=Tn 


图 2.9 时 域 因果 图 


2.4 多 视角 决策 和 多 视角 学 习 


多 视角 决策 需要 多 视角 学 习 ， 多 视角 学 习 是 从 不 同 视角 获取 知识 和 信息 来 学 
习 ， 多 视角 学 习 过 程 包括 捕捉 视角 的 方法 和 从 不 同 视角 获取 的 数据 信息 与 知识 。 
多 视角 学 习 从 各 种 不 同 的 视角 建立 和 描绘 知识 系统 ， 以 便 把 它 用 到 决策 过 程 中 。 
视角 涉及 影响 人 们 在 对 待 特 定 决策 问题 的 环境 、 方 案 、 现 状 。 智 能 决策 者 够 捕捉 
感知 序列 ， 这 些 序列 在 时 间 尺 度 上 是 相互 分 离 的 ， 多 智能 体 可 以 捕捉 分 离 特征 空 
间 的 感知 。 

在 图 2.10 中 ，P,，P,，…，P, 代表 不 同 的 视角 。 每 一 个 视角 被 表示 为 一 个 
寺 征 函数 ， 这 些 视 角 可 能 有 重 倒 ,一些 特征 也 可 能 重合 。 在 一 些 案 例 中 特征 有 可 
是 相同 的 ,但 总 权 值 和 代表 的 值 可 能 是 不 一 样 的。 特征 表现 也 不 同 ， 比 如 在 特 
的 视角 某 个 特征 是 可 见 的 ， 而 在 另外 的 视角 里 该 特征 却 是 不 可 见 的 。 典 型 的 特 
征集 应 该 包括 所 有 可 能 的 特征 。 

按照 定义 ， 视 角 是 人 的 一 些 思 维 的 状态 ， 是 个 人 已 知 的 事实 等 ， 他 们 之 间 有 
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一 些 有 趣 的 联系 。 这 是 从 可 用 的 视窗 中 观察 到 以 一 种 有 意义 的 关联 的 特定 问题 空 
间 的 所 有 相关 数据 。 

基于 视角 的 信息 可 以 被 表示 成 影响 图 ， 这 种 影响 图 的 表示 方法 有 助 于 获得 做 
正确 决策 的 背景 。 设 定 背 景 、 决 策 目 标 结构 化 及 重复 迭代 将 会 带 来 更 好 的 系统 性 
学 习 和 对 系统 空间 更 好 的 理解 。 影 响 图 是 决策 (方案) 情况 的 图 形 表示 方法 ， 
可 能 其 他 方法 表示 决策 情况 和 系统 关系 。 选 择 影响 图 是 因为 它 可 以 帮助 人 们 最 适 
当地 表示 系统 关系 并 且 他 比较 简单 ， 从 而 降低 了 表示 的 复杂 程度 。 


视角 Pi1 三 
F(fi4, 万 2 f4m) 

















视角 P = 


FT f22, *, fom) we 





问题 











本 视角 Pp = 


视角 P= | ___- 本 
视角 3 F(f1, fn2; hm) 


F(f31, f32, *…, fam) 视角 Py = 
F(ha1, fa2, *, fam) 


图 2.10 多 视角 学 习 


在 学 习 中 ， 信 息 通 常 可 从 特定 的 视角 来 表示 ， 但 实际 生活 中 ， 一 个 简单 的 问 
题 可 能 有 多 个 视角 。 一 些 视角 可 以 直接 来 自 目 标 ， 他 们 在 分 析 思 维和 分 析 决 策 中 
占 主要 的 地 位 。 多 视角 学 习 包 括 捕 提 来 自 不 同 视角 的 信息 ， 从 决策 和 学 习 视角 来 
看 有 很 大 的 不 同 。 虽 然 在 某 些 视角 它们 是 匹配 的 ， 但 从 另 一 个 角度 产生 的 数据 缺 
失 可 能 导致 决策 出 现 问题 。 多 视角 学 习 的 基本 思想 是 从 所 有 可 能 的 视角 捕捉 信 
息 , 来自 各 种 视角 的 信息 用 于 建立 知识 结构 ， 再 把 知识 结构 用 于 有 效 的 决策 中 。 

从 一 个 视角 看 最 相关 的 信息 可 能 从 另 一 个 视角 看 不 是 如 此 相关 或 者 根本 不 相 
关 。 在 这 种 情况 下 ， 学 到 的 是 什么 、 应 该 学 到 什么 和 什么 是 显然 正确 的 决策 三 者 
存在 巨大 的 差距 ， 这 可 能 导致 不 会 生成 合适 的 结 
图 2. 11 用 影响 图 (ID) 表示 市 场 环境 和 市 场 营销 、 产 品 价格 、 成 本 、 鳃 利 
之 间 的 关系 。 形 状 ， 其 至 在 某 些 情况 下 ,颜色 也 可 以 用 于 表示 影响 图 的 一 个 对 
象 。 影 响 图 显示 了 目标 和 行动 之 间 的 关系 。 这 些 关系 可 以 映射 到 概率 上 ， 这 将 在 
后 面 提 及 。 

同样 的 关系 可 以 用 决策 树 完 整地 表示 ， 决 策 树 提 供 了 基于 一 些 参数 的 测量 的 
转换 或 决策 路 径 ， 在 进入 下 一 个 阶段 时 需要 处 理 层次 决策 。 决 策 树 很 好 地 描述 了 
决策 规则 ， 图 2. 12 描述 了 决策 树 ， 图 2. 13 描述 了 影响 图 。 
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图 2.11 影响 图 (一 ) 


好 二 


调整 










市 场 价值 





图 2. 12 决策 树 





决策 树 和 影响 图 用 来 表示 
不 同 种 类 的 信息 ， 影 响 图 可 以 
很 清楚 地 显示 变量 间 的 相关 性 。 
在 半 约 束 影响 图 中 显示 了 相关 
性 的 概率 。 图 2.14 ~ 图 2.16 显 
示 了 一 些 有 完整 的 信息 和 不 完 
全 信息 及 没有 任何 信息 的 影响 
图 案例 。 图 2.13 ”影响 图 (二 ) 


发 现 R&D 
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事实 上 ， 在 系统 学 习 中 ， 具 有 所 有 信息 是 不 可 能 的 ， 时 域 中 大 部 分 情况 都 如 
第 2 种 情况 即 有 不 完全 信息 ， 在 第 2 种 情况 下 需要 模板 来 获取 系统 性 信息 。 

图 2. 14 表示 没有 信息 的 情况 ， 图 2. 15 表示 有 完整 信息 的 情况 。 在 实际 生活 
中 具有 完整 的 可 用 信息 的 情况 ， 因 此 它 只 是 假设 情形 。 

典型 的 影响 图 如 图 2. 16 所 示 。 当 问题 具有 高 度 的 条 件 独立 性 时 ， 当 需要 紧 
凑 表 示 一 个 极其 庞大 模型 时 ， 概 率 关系 的 交流 很 重要 时 ， 或 当 分 析 需 要 扩展 贝 叶 
斯 更 新 时 ， 影 像 图 是 特别 有 用 的 。 在 决策 问题 中 条 件 独立 允许 人 们 用 更 有 用 的 方 
式 表示 条 件 概率 ， 所 以 这 对 机 器 学 习 很 重要 。 影 响 图 表示 变量 间 的 关系 ， 这 些 关 
系 很 重要 ， 因 为 它 反映 了 分 析 者 或 决策 者 对 系统 的 观点 。 



































图 2. 16 不 完全 信息 影响 图 (现实 方案 ) 

简 言 之 ， 概 率 影 响 图 是 一 个 没有 受 控 周期 的 受 控 图 网 络 。 后 面 将 关注 各 种 表 
现形 式 及 其 在 建 模 上 的 应 用 和 在 现实 问题 中 代表 的 各 种 决策 方案 一 王 即 有 缺陷 的 
和 不 完整 的 信息 。 

基于 视角 的 信息 可 以 用 一 个 影响 图 表示 ， 正 如 本 章 前 面 所 解释 的 那样 , “ 贝 




















叶 斯 决策 ”影响 图 是 不 同 输入 的 影响 导致 状态 转换 的 表示 ， 也 表示 转换 概率 。 

影响 图 与 事件 发 生 的 可 能 性 有 关 ( 见 图 2. 17)。 

这 个 特征 也 有 助 于 知识 的 获取 。 它 表示 所 有 的 决策 方案 。 例 如 ， 相 比 评估 疾 
病 的 后 验 概率 ， 临 床 专家 评估 疾病 的 患 病 率 、 敏 感性 和 诊断 测试 的 特异 性 要 容易 得 
多 。 面 出 影响 图 后 有 利于 概率 估计 ， 所 有 的 更 新 和 贝 叶 斯 推断 都 由 评估 算法 自动 处 
理 。 虽 然 决 策 树 中 有 方法 可 以 执行 贝 叶 斯 更 新 ， 但 依然 有 大 量 的 贝 叶 斯 更 新 问题 ， 
比如 连续 测试 决策 ， 影 响 图 通过 在 树 中 减少 贝 叶 斯 更 新 所 需 的 复杂 方程 来 减轻 分 析 
人 员 的 负担 。 影 响 图 也 能 减少 发 现 提出 特定 方程 时 所 带 来 的 错误 所 需要 的 时 间 。 
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图 2.17 概率 举例 
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接 下 来 将 用 影响 图 表示 决策 方案 ， 在 实际 方案 中 影响 图 对 决策 者 来 说 是 系统 
中 显而易见 部 分 的 表示 。 可 以 参考 它 确定 感知 决策 的 边界 。 它 也 可 以 是 一 个 来 自 
特定 角度 的 系统 表示 。 在 现实 生活 中 很 可 能 来 自 很 明显 视角 或 决策 者 视角 的 完整 
信息 在 做 决定 的 时 候 也 是 无 效 的 。 这 些 用 于 决策 的 受 限 信息 是 关于 相关 性 和 缺失 
信息 的 ， 这 会 让 人 们 以 一 种 稍微 不 同 的 方式 来 表示 决策 方案 ， 称 之 为 半 约 束 影 响 
图 (SCID) ， 也 称 为 部 分 决策 方案 表示 网 (PDSRD ) 。 

PDSRD 表示 以 模糊 的 方式 表示 关系 。 当 结合 越 来 越 多 的 观点 和 这 段 时 间 系 
统 性 信息 的 启发 时 ， 这 些 PDSRD 模糊 关系 变 得 具体 化 ( 见 图 2. 18)。 
































图 2.18 PDSRD 
可 用 的 受 限 信 息 包 括 决策 方案 、 相 关 性 以 及 特别 是 从 特定 的 视角 得 到 的 支 离 








破碎 的 信息 或 图 片 ， 将 其 呈现 为 局 部 决策 方案 表示 图 。PDSRD 也 可 以 被 看 作 受 
约束 和 受 限 制 的 影响 图 ， 图 2. 19 描述 了 一 个 典型 的 PDSRD。 





可 能 状态 


图 2.19 ”PDSRD 一 部 分 信息 图 
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图 中 的 虚线 表明 可 能 存在 的 关系 ， 在 PDSRD 中 有 一 些 不 确定 的 关系 ， 这 些 
模糊 的 关系 在 图 中 线 上 标 问号 。 对 于 少数 几 个 关系 来 说 这 些 传 递 概 率 是 知道 的 ， 
但 对 其 他 的 来 说 就 不 知道 了 。 这 有 助 于 用 模糊 值 形成 一 种 局 部 填充 的 决策 和 矩阵 。 


2.4.1 基于 完整 信息 的 表示 


这 些 完 整 的 信息 意味 着 可 以 得 到 系统 性 参数 ， 这 将 帮助 人 们 决定 所 有 的 传递 
概率 ， 因 此 决策 会 变 得 容易 一 些 。 但 是 在 现实 生活 中 任意 一 个 时 间 点 都 得 不 到 完 
整 信息 。 当 有 完整 可 用 的 图 片 或 者 确认 基于 项 目 或 模式 的 决策 可 以 较 好 地 用 于 解 
决 问题 时 ， 这 种 表示 形式 将 可 以 被 采用 。 事 实 上 有 完整 信息 的 影响 图 是 PDSRD 
的 一 个 特例 。 


2.4.2 基于 部 分 信息 的 表示 


通常 情况 下 只 能 得 到 部 分 信息 ， 这 部 分 信息 可 以 用 PDSRD 来 表示 。 这 里 有 
许多 来 自 不 同 视角 的 图 ， 但 这 些 图 是 孤立 的 ， 不 能 指导 做 决策 。 所 有 的 表示 都 需 
要 这 些 图 表 。 代 表决 策 方案 图 (RDSD) 是 结合 不 同 的 PDSRD 决策 方案 的 表示 。 
RDSD 是 多 视角 学 习 的 表示 ， 实 际 上 是 从 所 有 视角 获取 的 信息 的 表示 。 


2.4.3 单 视角 决策 方案 图 


PDSRD 通常 用 来 代表 单 视角 的 影响 图 。 在 图 中 ， 这 种 转换 或 者 与 转换 相关 
的 概率 代表 了 决策 者 的 观点 。 即 使 是 概率 影响 图 也 可 以 被 看 作 决 策 方案 图 。 


2.4.4 双重 视角 决策 方案 图 


为 了 克服 单 视角 决策 方案 图 的 缺陷 ， 用 双重 视角 决策 方案 图 来 表示 信息 。 这 
里 在 单一 的 图 中 ， 有 两 种 可 能 性 ， 并 且 基 于 视角 的 转换 模式 表现 出 来 。 双 重视 角 
决策 方案 图 可 以 帮助 表示 一 些 两 个 视角 可 能 莉 盖 系统 的 大 部 分 和 决策 空间 的 不 是 
很 复杂 的 问题 。 


2.4.5 多 视角 决策 方案 图 


因为 现实 生活 中 复杂 问题 一 般 都 可 能 存在 多 个 视角 ， 在 做 决策 时 需要 把 这 些 
视角 都 考虑 在 内 ， 所 以 需要 多 视角 影响 图 。 正 如 先前 所 讨论 的 ， 部 分 决策 方案 图 
表示 不 同 的 视角 ， 而 单一 部 分 决策 方案 图 则 代表 一 个 特定 的 视角 。 这 些 PDSRD 
用 于 为 特定 决策 方案 中 形成 典型 决策 方案 (DSD)。 这 些 典 型 的 DSD 用 于 决策 ， 
且 容 许 进行 多 视角 决策 。 

如 果 没 有 来 自 某 一 视角 的 相关 性 知识 ， 典 型 的 决策 方案 图 将 不 能 代表 特定 的 
视角 。 有 关 视 角 的 越 来 越 多 的 信息 被 合并 到 了 典型 决策 方案 图 中 。 
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2.4.6 定性 信念 网 络 和 影响 图 


处 理 现实 中 复杂 、 动 态 的 问题 时 贝 叶 斯 信念 网 络 和 影响 图 是 很 有 效 的 。 在 形 
成 概率 关系 时 大 量 的 依赖 关系 被 表示 。 在 任何 时 候 用 于 决策 的 逻辑 事件 是 以 条 件 
概率 的 形式 表示 的 。 通 常 在 应 用 它们 解决 问题 时 需要 大 量 的 概率 、 关 系 表 示 和 有 
用 特征 。 无 论 如 何 ， 要 映射 和 表示 这 些 相 关 性 都 很 困难 。 信 念 网 络 构架 本 身 并 不 
提供 不 确定 性 条 件 下 的 决策 ， 做 决策 不 仅 需 要 不 确定 问题 的 研究 知识 还 需要 了 解 
决策 者 的 安排 及 在 处 理 不 确定 序列 时 的 期 望 ， 甚 至 视角 和 环境 都 不 明确 ， 这 就 使 
得 在 做 决策 时 有 合理 且 近 乎 完全 的 信息 非常 必要 。 影 响 图 构架 会 被 调整 去 适应 做 
决策 ?1 。 结 合 信念 网 络 ， 影 响 图 可 以 选择 去 加 强 信念 网 络 。 它 能 提供 知识 捕捉 
和 知识 积累 的 机 制 。 

M. P. Wellman 介绍 定性 信念 网 络 为 信念 网 络 的 定性 抽象 ， 信 念 网 络 与 定性 
信念 网 络 在 很 多 方面 具有 相似 性 31 ， 定 性 的 信念 网 络 包含 了 一 组 统计 变量 之 间 
的 独立 性 的 图 形 表示 ， 再 一 次 采取 了 非 循 环 有 向 图 的 形式 。 无 论 如 何 ， 不 是 条 件 
概率 ， 一 个 定性 信念 网 络 与 其 有 向 图 定性 概率 关系 联系 在 一 起 ， 这 种 相关 性 会 进 
一 步 扩展 为 系统 性 关系 。 

定性 影响 图 是 影响 图 的 定性 抽象 。 定 性 的 影响 图 ， 如 定量 的 人 和 物 ， 包含 在 
其 相互 作用 关系 中 涉及 的 决策 问题 的 变量 的 表述 形式 ， 青 次 采用 非 循环 有 向 图 。 
然而 ,不 是 条 件 概 率 ， 而 是 定性 影响 图 编码 定性 影响 并 协同 随机 变量 。 且 不 是 实 
用 程序 ， 它 明确 指定 定性 优先 关系 。 这 些 优先 关系 捕捉 决策 者 选择 的 参数 从 而 适 
合 图 的 节点 值 。 当 谈 到 PDSRD 时 可 以 用 这 些 优 先 关系 来 表示 部 分 信息 。 


2.5 动态 和 交互 式 决策 






































每 一 个 决定 和 动作 都 会 产生 更 多 的 出 乎 意料 的 情况 ， 随 着 时 间 的 推移 ， 将 得 
到 越 来 越 多 的 关于 系统 的 可 用 信息 。 新 的 信息 甚至 为 决策 建立 一 个 新 的 角度 。 为 
了 提供 最 好 的 决策 或 更 系统 的 决策 ， 需 要 动态 和 交互 式 的 学 习 和 决策 。 新 信息 改 
变 决 策 方案 ， 系 统 需要 差 动 的 学 习 能 力 。 系 统 性 学 习 需 要 动态 和 交互 ， 动 态 意味 
着 它 可 以 适应 由 系统 性 交互 和 交互 学 习 导 致 的 新 的 决策 方案 ， 可 以 与 系统 交互 并 
建立 更 新 知识 。 产 生 的 新 信息 和 建立 的 新 知识 是 用 于 学 习 的 。 动 态 的 决策 要 求 能 
够 不 断 地 适应 持续 变化 的 决策 方案 ， 其 至 是 其 特征 变化 。 


2.5.1 交互 决策 图 


交互 决策 图 被 用 于 表示 交互 学 习 方案 。 交 互 决 策 图 允许 递归 和 藤 套 的 决策 
方案 。 
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交互 动态 决策 图 是 动态 决策 图 的 一 般 化 ， 有 助 于 计算 有 限 的 先行 到 近 。 这 些 
交互 决策 图 可 以 用 于 系统 性 学 习 和 交互 决策 ， 这 里 表示 决策 方案 与 环境 和 系统 的 
交互 。 


2.5.2 决策 图 和 影响 图 中 时 间 的 角色 


时 间 值 或 者 时 间 序 列 至 少 在 三 种 特定 情况 中 扮演 着 很 重要 的 角色 。 时 间 没 有 
被 明确 声明 ， 如 果 存 在 决策 问题 ， 并 通过 影响 图 建 模 ， 没 有 明确 的 时 间 声 明 ， 影 
响 图 会 按 顺序 构建 : 首先 ， 引 入 变量 及 之 间 的 依存 弧 ， 然 后 加 入 与 信息 相关 的 决 
策 变 量 ， 接 下 来 定义 功能 节点 及 与 其 他 节点 之 间 的 连接 关系 。 已 经 准备 好 影响 
图 ,但 在 使 用 之 前 必须 实现 与 合适 变量 间 的 函数 连接 。 这 意味 着 随机 节点 与 变量 
以 一 定 的 条 件 概 率 函数 (或 是 先 验 概率 ) 相关 ， 实 用 节点 与 变量 之 间 以 实用 函 
数 的 方式 连接 。 决 策 节点 相当 于 外 部 决策 者 采取 行动 ， 影 响 图 定义 每 个 决策 需要 
的 信息 ， 有 时 定义 的 是 决策 的 顺序 。 决 策 的 顺序 依赖 于 影响 图 的 结构 和 它 的 
解释 。 

影响 图 被 假设 为 静态 的 类 型 和 属性 ， 影 响 图 可 以 以 不 同 的 方式 被 切 分 成 时 间 
段 。 时 间 段 影响 图 可 以 被 用 来 寻找 决策 的 最 佳 时 机 ， 也 就 是 识别 决策 的 最 高 杠杆 
点 和 时 刻 。 人 们 和 硕 望 通过 时 间 段 影响 图 来 找到 信息 增强 的 时 刻 和 描绘 在 系统 性 学 
习 中 不 想 错失 的 动态 方案 。 这 些 “ 时 间 片 段 的 影像 图 ”人 允许 选择 增强 ， 同 时 可 
以 在 决策 时 形成 典型 影响 图 。 


2.5.3 系统 性 视角 的 建立 


在 系统 思考 中 定义 的 系统 规则 被 Peter Senge 认为 当今 一 个 错误 的 决策 (有 
可 能 不 知道 错误 的 原因 是 在 这 个 时 刻 得 到 的 信息 和 视角 是 受 限 的 ) ， 这 可 能 在 以 
后 产生 一 个 更 大 的 问题 器 。 在 一 些 情况 下 决策 的 影响 可 能 在 未 来 的 一 段 时 间 都 
是 看 不 见 的 〈 即 因果 在 时 间 上 总 是 分 开 的 ) 。 现 在 重新 定义 系统 方案 ， 参 数 和 与 
信息 的 交互 能 力 可 以 帮助 人 们 做 更 好 的 决策 。 这 是 持续 学 习 和 理解 系统 。 

图 2. 20 描述 决策 分 析 的 流程 ， 尽 管 系统 视图 已 经 建立 ,但 依然 需要 分 析 决 
策 。 决 策 是 基于 决策 的 系统 性 影响 进行 分 析 的 ， 决 策 影响 在 将 来 需要 被 分 析 ， 因 
为 许多 影响 现在 看 不 到 。 男 外 一 件 重要 的 事 是 涉及 系统 中 的 其 他 决策 的 决策 
分 析 : 

。 系统 空间 边界 分 析 ; 

。 系统 时 间 边 界 分 析 ; 

。 兼容 性 分 析 。 

这 些 分 析 允 许 验 证 决策 和 采取 纠正 措施 ， 学 习 的 时 候 依然 会 用 到 这 些 分 析 。 
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2.5.4 信息 整合 
来 自 不 同 视角 的 分 散 信息 可 以 被 PDSRD 表示 。 
当 建 立 典 型 的 决策 方案 图 (DSD) 时 需要 整合 信息 。 
因为 信息 的 绝对 集成 可 能 是 不 相关 的 ， 需 要 根据 特定 
的 决策 方案 来 整合 信息 。 整 合 方法 的 细节 被 包含 在 后 | et 
续 的 内 容 中 。 在 整合 的 过 程 中 由 于 应 用 不 同 角 度 而 产 系统 的 影响 
生 SCID ， 在 这 个 过 程 中 用 到 了 其 他 机 器 学 习 技 术 的 推 
论 。 信 息 的 整合 是 自 下 而 上 进行 的 ， 信 息 整 合 的 目的 
是 建立 一 个 系统 性 的 视图 。 
未 来 决策 
2.5.5 建立 典型 决策 方案 图 影响 分 析 
PDSRD 组 合 起 来 形成 典型 DSD : 
PDSRD 1 = Ffii spa fa1 ,sf ) 
PDSRD ,=F(fii ,poi fat, ,fn) 参考 其 他 决策 
. 做 决策 分 析 


PDSRD ， = 有 ji :1 ,fa1 » a i 
决策 方案 决定 与 不 同 PDSRD 对 应 的 各 种 特征 的 。 图 2 20 决策 分 析 
权重 





RDSD = (wiw2wa…w; ) x (特征 矩阵) 
这 些 可 选择 的 特征 可 以 被 计算 。 
典型 的 DSD 是 为 特定 方案 所 做 ， 对 于 新 的 决策 方案 将 会 有 新 的 代表 性 
的 DSD。 








2.5.6 受 限 信息 


受 限 信息 和 不 完整 信息 是 机 带 学 习 主要 挑战 之 一 ， 基 于 视角 的 构思 和 整体 视 
角 的 整合 允许 推断 一 些 缺 失 数据 点 使 受 限 和 不 完整 信息 可 以 用 于 做 决策 和 学 习 。 
在 现实 问题 中 得 到 的 信息 总 是 有 缺失 ， 但 整合 和 推论 允许 人 们 构建 所 需 的 信息 方 
案 。 此 外 ， 学 习 是 一 个 持续 的 过 程 且 随 着 可 得 数据 越 来 越 多 ,推断 的 事实 也 得 到 
进一步 改善 。 


2.5.7 多 决策 者 系统 在 系统 性 学 习 中 的 角色 


各 种 决策 者 的 应 用 倒 不 如 说 是 多 决策 者 可 以 帮助 收集 系统 性 信息 。 表 2. 1 描 
了 同 质 不 连通 决策 、 蜡 构 不 连通 决策 、 同 质 连通 决策 及 蜡 构 连通 决策 。 同 质 不 
通 智 能 体 被 用 于 构建 全 局 与 分 布 环 境 中 的 局 部 信息 。 连 通 智能 体 有 助 于 以 更 好 
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的 方法 去 建立 系统 性 视角 。 


表 2.1 智能 决策 者 和 协同 学 习 

























































































均匀 不 连通 的 智能 决策 者 异 构 不 连通 的 智能 决策 者 
局 部 和 全 局 视角 友善 对 亮 久 
不 同 的 状态 社会 习俗 
色 
建 模 目标 
志 习 不 连通 的 智能 决策 者 异 构 不 连通 的 智能 决策 者 
分 布 式 感知 互相 理解 
通信 的 内 容 坊 商 
隐身 规划 通信 法 案 
团体 学 习 友善 对 竞争 
改变 形状 尺寸 
团体 学 习 

















各 种 决策 者 建立 全 局 视角 ， 这 些 信 息 列 在 表 2.1 中 。 

这 些 决 策 者 与 环境 及 系统 的 感知 状态 交互 影响 。 自 适应 决策 者 可 以 动态 地 探 
测 系 统 。 图 2. 21 显示 了 代表 性 决策 者 与 环境 相互 作用 来 构建 知识 领域 并 负责 
种 行为 。 

















环境 








决策 者 
\ - 目标 

\、 | -动作 

、\\ | -知识 领域 








图 2. 21 基于 决策 者 的 系统 


EP 在 
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图 2. 22 描述 了 多 决策 者 系统 。 这 些 决 策 者 也 相互 影响 ， 并 有 助 于 构建 更 好 
的 系统 性 视角 。 决 策 者 应 用 领域 知识 和 来 自 环 境 的 反馈 方面 进行 学 习 。 

图 2. 23 描述 了 学 习 步 又 的 一 般 模式 。 训 练 函 数 使 用 在 一 些 假设 的 基础 上 ， 
并 基于 性 能 评估 和 求解 质量 进一步 强化 了 学 习 参数 。 与 系统 性 依赖 的 交互 及 环境 
参数 帮助 系统 进行 系统 化 学 习 ， 本 章 探 索 的 不 同系 统 性 概念 可 用 于 构建 学 习 模型 
和 框架 。 

图 2. 24 描述 文档 分 类 方案 中 不 同 的 系统 性 组 成 部 分 。 随 着 决策 范围 的 明确 
及 所 寻求 视角 的 确定 ， 产 生 了 系统 性 的 观点 。 在 定义 的 系统 边界 内 使 用 各 种 系统 
部 分 ， 但 实际 方案 中 决策 边界 由 决策 方案 来 定义 。 











环境 

















- 动作 
/ - 知识 领域 





\，| -目标 
\ | -动作 
\ | - 知识 领域 








图 2. 22 ”用 多 决策 者 系统 捕捉 视角 
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图 2.23 学习 模型 
































交互 /接口 组 件 后 端 组 件 
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RS 元 数据 



































图 2.24 系统 组 件 
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2.6 ”系统 性 学 习 框 架 


系统 性 学 习 框 架 应 该 能 完成 的 活动 包括 : 中 决定 系统 的 边界 ; @ 根 据 不 同 的 
太夫 续 时 的 明灯 系统 的 过 办 。 系 统 作 学习 外 够 实现 动态 地 

学 习 以 适 应 连续 变化 的 方案 ， 且 可 以 为 给 定 的 决策 方案 提供 关于 系统 空间 的 最 优 
决策 。 框 架 被 期 望 有 如 下 的 功能 

系统 检测 ， 系 统 检测 是 指 确定 系统 边界 和 不 同 的 组 成 部 分 及 子 系统 ， 子 系统 
是 系统 的 一 部 分 ， ee 

映射 系统 基于 影响 和 依赖 关系 映射 系统 组 件 ， 这 有 助 于 做 决策 和 决策 
验证 。 

系统 分 析 : 这 里 指 的 是 系统 的 分 析 ， 并 且 应 该 是 连续 的 。 系 统 需要 根据 新 信 
息 或 决策 的 新 结果 进行 分 析 ， 系 统 分 析 为 系统 性 学 习 创造 学 习 参 数 。 

确定 子 系统 间 的 相互 作用 : 系统 性 分 析 的 另 一 部 分 是 确定 子 系统 间 的 相互 作 
用 。 这 些 作 用 有 助 于 在 特定 的 决策 方案 中 构建 一 个 决策 矩阵 。 

学 习 决 策 影响 : 决策 对 系统 有 影响 并 且 在 某 些 情况 下 需要 推断 这 些 影响 。 为 
了 得 到 正确 的 决策 对 系统 性 决策 影响 的 学 习 是 必要 的 。 

基于 角度 的 系统 影响 分 析 : 信息 通常 是 不 完整 的 并 且 这 些 分 析 是 基于 特定 的 
视角 的 。 在 特定 的 决策 方案 中 ， 有 必要 在 视角 影响 分 析 的 基础 上 在 决策 视角 中 选 
择 正 确 的 平衡 点 。 


2.6.1 数学 模型 


接 下 来 的 内 容 将 讨论 系统 性 学 习 的 广义 数学 模型 。 数 学 模型 是 基于 系统 和 子 
系统 被 定义 成 不 同 特征 集 函 数 的 基础 上 的 。 这 些 子 系统 在 特定 的 决策 背景 下 相互 
作用 ， 他 们 之 间 基 于 视角 的 相互 影响 是 被 定义 在 影响 因素 (il, i2,，…, in) 上 
的 。 这 些 影响 因子 来 自 于 特定 视角 的 PDSRD，PDSRD 被 定义 成 一 个 矩阵 (dl1， 
d2,，…, dn)。 每 一 个 PDSRD 都 有 一 个 决策 和 矩阵， 这 个 决策 矩阵 包含 决策 方案 
的 权重 。 对 于 特定 的 决策 方案 ， 所 有 的 PDSRD 被 组 合成 一 个 典型 的 DSD， 
PDSRD 决策 矩阵 是 基于 决策 方案 的 权重 和 代表 性 DSD 的 决策 和 矩阵 而 定义 的 。 

过 特定 的 分 析 决 定 代表 性 DSD， 0 
核心 。 


2.6.2 系统 性 学 习 的 方法 


系统 性 学 习 是 学 习 决 定 系统 影响 和 学 习 使 系统 尽 可 能 做 出 最 好 的 决策 的 方 
法 。 为 此 有 必要 超出 界限 进行 推断 ， 可 以 用 各 种 方法 并 且 这 些 方法 可 以 被 优化 。 
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如 下 列 出 了 一 些 方法 : 

基于 对 象 的 学 习 : 这 里 的 对 象 是 指 带 有 数据 的 决策 方案 ， 并 且 学 习 是 基于 这 
些 对 象 发 生 的 。 

碎片 和 学 习 : 这 里 的 信息 是 破碎 的 ， 为 了 得 到 更 加 清楚 的 信息 ， 信 息 再 次 被 
整合 ， 信 息 的 分 割 和 合并 是 视 情 况 而 定 的 。 

多 视角 学 习 : 如 上 所 述 ， 为 了 多 视角 学 习 ， 学 习 首 先 要 基于 各 种 视角 ， 基 于 
多 视角 的 学 习 结 合 形成 一 个 多 视角 决策 矩阵 。 多 视角 和 矩阵 有 助 于 做 决策 。 

各 级 聚 类 : 各 层级 学 习 可 以 被 看 作 半 监 督学 习 。 各 种 视图 层级 所 形成 的 聚 类 
es 

空间 聚 类 : 子 空 间 是 基于 决策 空间 和 视角 形成 的 ， 子 空间 聚 类 是 基于 有 限 

站 

基于 视角 的 增 量 聚 类 : 另外 一 个 重要 的 方面 就 是 增 量 学 习 ; 随 着 可 获得 的 信 
息 越 来 越 多 ， 甚 至 基于 视角 的 决策 参数 都 可 能 不 同 。 基 于 视角 的 增 量 聚 类 可 以 用 
于 动态 和 增 量 决策 。 


2.6.3 自 适 应 系统 性 学 习 


自 适应 系统 性 学 习 是 指 从 总 体 学 习 视 角 看 是 系统 性 的 选择 系统 性 学 习 ， 但 他 人 允 
许 基于 某 问题 以 不 同 的 方式 学 习 。 图 2. 25 描述 自 适应 系统 性 学 习 发 生 的 方式 ， 自 适 
应 学 习 另 外 一 个 重要 的 方面 是 多 种 方法 的 选择 性 结合 并 同时 使 用 学 习 到 的 数据 。 



















































问题 分 析 


系统 边界 检测 影响 分 析 




















| 学 习 方法 和 策略 选择 





学 习 和 决策 | 








图 2.25 自 适 应 系统 性 机 器 学 习 
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机 器 学 习 理 论 也 与 经 济 学 问题 有 着 密切 的 关系 。 机 顺 学 习 方法 可 以 用 于 竞拍 
的 设计 及 其 他 履约 担保 的 定价 机 制 。 自 适应 机 器 学 习 算法 可 以 被 看 作 个 体 如 何 能 
够 适应 环境 变化 的 模型 ， 而 且 尤 其 是 快速 自 适应 算法 的 发 展 使 系统 能 够 快速 达到 
近乎 平衡 的 状态 ， 甚 至 是 在 每 个 个 体 都 有 许多 不 同 选择 的 时 候 。 另 一 方面 ， 经 济 
事件 中 产生 的 机 器 学 习 问 题 不 仅 出 现在 计算 机 算法 适应 其 环境 时 ， 也 出 现在 其 对 
环境 的 及 其 他 个 体 的 行为 影响 时 。 近 几 年 来 两 个 领域 的 联系 越 来 越 密切 ， 因 为 两 
个 领域 的 共同 目标 是 发 展 建 模 工具 和 促进 电子 商务 。 

自 适应 学 习 中 应 考虑 到 如 下 重要 的 部 分 : 
系统 相互 影响 ; 
系统 的 信息 和 知识 ; 
学 习 算 法 的 自 适 应 及 基于 可 用 数据 和 系统 方法 选择 ; 
方法 的 选择 性 使 用 和 形成 优先 级 权重 的 特征 向 量 ; 
依照 每 个 系统 状态 和 学 习 条 件 改变 学 习 参 数 ; 
随 着 更 多 数据 和 方案 的 披露 提高 学 习 能 力 ; 
知识 的 增强 和 选择 性 使 用 及 知识 映射 。 


2.6.4 系统 性 学 习 框 架 


系统 性 学 习 框 架 的 重要 组 成 部 分 如 下 : 
。 系统 定义 单元 ; 

。 理解 子 系统 ; 

。 系 统 的 相互 作用 ; 

e 决 策 的 系统 性 影响 分 析 ; 

。 基于 多 视角 分 析 的 决策 选择 。 



































2.7 系统 分 析 





系统 性 机 融 学 习 最 重要 的 部 分 是 理解 和 分 析 系 统 。 当 学 习 是 基于 局 限于 系统 
的 小 部 分 信息 或 特定 的 子 系统 时 ， 决 策 和 学 习 必 然 带 有 一 种 特定 的 视角 。 而 且 ， 
获得 的 信息 也 根据 系统 的 这 一 部 分 聚集 ， 因 而 获得 的 信息 是 片段 化 的 。 因 此 在 系 
统 性 决策 时 可 能 会 产生 很 多 风险 。 为 了 避免 这 些 风险 ， 信 息 的 聚集 和 系统 分 析 是 
两 个 重要 的 部 分 。 基 于 系统 分 析 ， 聚 集 了 越 来 越 多 的 信息 。 系 统 性 学 习 试图 基于 
零散 的 信息 、 历 史 知 识 和 推论 构建 系统 性 知识 。 

系统 与 环境 相互 作用 并 产生 反馈 信息 。 学 习 在 系统 边界 里 是 活跃 的 。 系 统 分 
析 总 是 试图 在 获得 的 新 信息 的 基础 上 定义 和 重 定义 系统 边界 ， 这 些 分 析 揭 露 了 系 
统 的 结构 。 图 2. 26 描述 了 学 习 与 系统 典型 的 相互 影响 ， 图 2. 27 描述 了 一 个 典型 
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的 系统 结构 。 结 构 的 典型 部 分 包括 系统 边界 、 
输入 参数 、 输 出 参数 、 各 种 子 系统 和 环境 。 结 
构 也 描述 了 系统 各 组 成 部 分 间 的 关系 。 

图 2.27 描述 了 有 很 多 子 系统 的 系统 。 系 统 
有 各 种 不 同 的 输入 并 且 环 境 得 到 各 种 各 样 的 输 
出 。 箭 头 表示 系统 组 件 间 的 相互 影响 。 

自 上 而 下 的 系统 学 习 ， 在 自 上 而 下 的 系统 
学 习 中 ， 高 层 系统 视角 决定 初始 决策 矩阵 的 权 
重 。 随 着 决策 的 进行 ， 将 转 至 决策 视角 。 

基于 子 系统 的 系统 学 习 ， 在 这 种 学 习 中 每 图 26 学 习 系统 的 组 成 
个 子 系统 被 独立 用 于 学 习 并 且 在 决策 时 整合 。 
系统 学 习 需 要 持续 改进 。 


输入 

















相互 关系 








图 2.27 系统 结构 


基于 期 望 行为 的 学 习 : 有 监督 的 学 习 使 用 有 标记 的 数据 ， 这 种 学 习 大 部 分 情 
况 下 是 基于 目标 值 的 。 目 标 值 不 能 描述 系统 的 行为 。 目 标 值 可 能 最 大 化 效益 ， 且 
决策 可 能 会 倾向 于 此 ， 但 系统 行为 可 能 会 引 向 不 同 的 方向 。 系 统 学 习 是 基于 期 户 
的 系统 行为 的 ， 因 此 目标 函数 是 基于 期 望 系 统 行为 形成 的 。 
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系统 性 机 器 学 习 的 例子 : 在 典型 的 医疗 决策 中 ， 整 个 身体 是 一 个 系统 ， 因 此 
在 给 人 药物 前 ， 应 该 考虑 药物 对 于 身体 其 他 部 分 的 副作用 ， 因 此 ， 决 策 在 本 质 上 
是 系统 性 的 。 因 而 所 有 智能 医疗 系统 都 需要 系统 性 机 器 学 习 。 


2.8 ”案例 学 习 : 在 酒店 行业 中 需要 系统 性 学 习 











在 酒店 行业 中 各 种 高 档 酒店 根据 需求 预测 来 设 定 价格 ,可 以 根据 如 下 各 种 模 
式 来 计算 需求 预测 : 

1) 占用 模式 ; 

2) 一 周 中 某 一 天 的 占用 模式 ; 

3) 取消 模式 ; 

4) 失 约 模式 ; 

5) 预定 速度 。 

当 需 求 下降 时 ， 价 格 下 降 或 使 用 低 利 率 来 吸引 顾客 ; 当 需 求 增加 时 ， 停 止 低 
价格 ， 绩 效 上 升 。 基 于 这 种 方法 ， 需 求 增加 或 预定 速度 变化 时 价格 也 在 变化 。 有 
趣 的 是 ， 在 这 个 决策 时 只 是 考虑 眼前 利益 ， 而 没有 考虑 价格 变化 所 带 来 的 系统 性 
影响 。 

在 特殊 情况 下 可 能 会 产生 效益 ， 但 对 利润 的 长 期 影响 可 能 是 或 可 能 不 是 积极 
的 。 需 要 做 的 是 获得 可 持续 利润 的 增长 及 所 有 子 系统 获 利 。 图 2. 28 描述 了 学 习 
和 决策 的 过 程 。 
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图 2.28 酒店 行业 决策 
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在 一 些 城市 会 议 或 活动 的 案例 中 ， 当 整个 城市 的 价格 上 升 时 ， 这 些 系统 形式 
会 影响 未 来 目的 地 的 选择 ， 即 使 是 那些 城市 的 常客 也 可 能 选择 另外 的 目的 地 。 有 
时 一 个 特定 的 链 或 酒店 是 看 不 到 这 些 影 响 的 ， 但 因为 有 这 样 的 决策 方案 会 对 旅游 
业 有 系统 性 影响 。 这 些 短 期 的 基于 模式 的 决策 技术 可 能 导致 一 些 立 竿 见 影 的 收 
益 ， 但 从 长 远 来 看 ， 这 些 事件 和 基于 模式 学 习 技巧 可 能 导致 灾难 。 有 必要 考虑 整 
个 系统 和 一 段 时 间 的 长 期 模式 。 
通过 观察 ， 特 定 方案 的 学 习 是 基于 目标 清 数 的 ， 即 目标 函数 效益 最 大 化 。 学 
习 不 是 基于 目标 和 期 望 的 系统 行为 。 无 论 因 为 理解 和 定义 系统 行为 的 期 望 还 是 因 
为 未 能 基于 期 望 系统 行为 学 习 都 可 能 导致 决策 问题 。 


























2.9 小 结 


为 了 证 实 要 比 传统 机 带 学 习 更 优越 ， 智 能 系统 的 需求 日 益 明 确 。 用 户 的 要 求 
更 加 苛刻 。 学 习 的 典型 限制 是 根据 有 限 信息 构建 系统 性 视角 和 推理 的 能 力 。 系 统 
性 学 习 是 关于 理解 决策 的 系统 性 影响 和 学 习 系 统 与 子 系统 间 的 不 同 相互 作用 ， 从 
而 促使 决策 算法 能 够 做 出 系统 性 决策 。 

系统 性 机 器 学 习 对 于 特定 的 决策 方案 建立 基于 可 得 的 片段 和 部 分 信息 需要 整 
体 的 决策 矩阵 。 半 自主 影响 图 可 以 用 来 表示 特定 视角 和 部 分 信息 。 典 型 影响 图 和 
源 于 其 中 的 决策 矩阵 可 以 在 多 视角 学 习 中 得 到 帮助 。 系 统 检测 、 系 统 映 射 及 系统 
分 析 需 要 理解 系统 相互 影响 和 决策 对 系统 各 部 分 的 影响 。 自 适应 系统 性 学 习 人 允许 
系统 从 动态 方案 中 学 习 和 基于 视角 分 析 建 立 决策 矩阵 。 

系统 性 学 习 的 许多 方面 、 来 自 不 同 视角 信息 的 分 析 及 信息 的 整合 有 助 于 构建 
系统 性 方案 。 需 要 增 量 学 习 和 利用 整个 时 间 段 内 可 得 的 信息 学 习 。 

系统 性 学 习 另 外 一 个 重要 的 方面 是 它 是 系统 能 够 通过 在 事件 和 空间 上 定位 最 
高 杠杆 点 来 决策 。 这 些 最 高 杠杆 点 使 决策 和 行动 更 加 有 效 ， 事 实 上 传统 的 学 习 是 
系统 性 学 习 的 特例 ， 即 系统 与 决策 者 观点 相同 的 情况 。 
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第 3 章 强化 学 习 


在 本 章 中 ， 将 从 一 个 广泛 的 、 系 统 的 学 习 角 度 来 介绍 强化 学 习 及 其 应 用 和 基 
本 原理 。 智 能 决策 者 (IA) 或 任何 智能 系统 都 是 基于 接收 到 的 输入 来 执行 动作 。 
这 里 有 许多 智能 应 用 ， 此 处 历史 信息 或 者 基于 历史 模式 的 学 习 可 以 表现 出 所 需求 
的 智能 行为 。 不 幸 的 是 ， 对 于 动态 环境 下 应 用 的 其 他 类 型 不 是 这 样 的 ， 知 识 需要 
在 已 学 习 的 基础 上 连续 建立 。 并 且 这 个 决定 的 结果 不 是 基于 一 个 单一 的 决定 或 措 
施 。 例 如 ， 在 打 篮 球 的 时 候 ， 篮 管 和 一 系列 的 好 的 动作 都 影响 比赛 结果 。 这 不 仅 
仅 是 一 个 正确 或 错误 的 动作 ， 而 是 关于 对 手 位 置 的 一 系列 好 的 动作 可 以 影响 比赛 
结果 。 更 确切 地 说 ， 在 这 个 方案 中 措施 的 好 处 和 其 对 最 后 结果 的 可 能 影响 有 助 于 
学 习 和 决策 的 制定 。 在 这 里 ， 所 有 的 决策 都 不 是 不 独立 的 动作 ， 它 们 的 形式 是 参 
照 环境 下 定义 。 这 些 应 用 类 型 的 关键 方面 一 一 无 论 是 否 是 篮球 、 足 球 ， 或 者 甚至 
一 些 商 业 过 程 一 一 是 环境 的 作用 、 优 良 回报 的 测量 以 及 反馈 。 

在 上 述 所 有 应 用 中 ， 都 有 一 个 决策 者 和 环境 的 作用 。 在 任何 时 刻 ， 环 境 都 在 
一 个 确定 的 状态 中 。 在 强化 学 习 时 ， 学 习 者 或 决策 者 做 的 决策 和 行为 都 是 与 环境 
相关 的 。 就 像 一 个 智能 决策 者 ， 它 会 感官 环境 然后 参照 目标 做 出 最 有 可 能 的 最 佳 
行动 。 一 系列 行动 都 是 为 了 实现 最 终 的 目标 。 为 解决 问题 而 采取 的 任何 行动 ， 决 
策 者 都 会 相应 地 获得 环境 给 予 的 奖励 或 惩罚 。 反 复 这 样 的 试验 和 错误 后 ， 决 策 者 
就 会 学 习 最 有 可 能 的 政策 来 解决 问题 。 

当 试 图 去 解决 任何 一 个 问题 时 ， 会 得 到 一 些 可 用 于 性 能 测量 的 结果 ， 人 们 会 
采取 很 多 动作 来 达到 这 个 结果 。 一 个 自动 化 的 决策 者 会 感知 在 环境 中 的 行为 ， 并 
选择 最 佳 的 行动 通过 强化 学 习 去 达到 目标 。 决 策 者 应 该 能 够 从 所 有 直接 、 间 接 或 
延迟 的 奖励 中 选择 最 佳 的 动作 。 各 种 东西 、 实 体 决策 者 与 包括 一 切 和 外 部 相关 的 
决策 者 相互 作用 ， 所 有 这 些 事物 的 集合 被 称 为 环境 。 

以 足球 为 例 ， 球 员 的 一 系列 动作 导致 得 分 或 者 犯规 或 者 角球 ， 最 终 的 奖励 或 
者 得 到 的 价值 可 能 会 是 说 或 输 , 但 是 每 个 阶段 的 行动 都 获得 了 一 个 奖励 。 假 设 球 
员 A 把 球 传 给 了 球员 B， 球 员 B 接 到 了 球 并 把 球 踢 向 了 对 手 的 球门 ， 这 就 是 一 
种 积极 的 激励 。 但 是 如 果 对 手球 队 里 的 球员 C 在 球员 A 之 前 抢 到 了 球 ， 并 把 球 
传 给 了 靠近 敌 方 球门 的 队友 ， 结 采 会 是 一 个 消极 的 激励 或 者 惩罚 。 当 动作 执行 后 
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基于 认 知 的 序列 和 环境 知觉 状态 的 感知 序列 就 会 输入 。 

决策 者 是 任何 通过 传 感 顺和 执行 器 与 环境 进行 相互 作用 的 。 通 常情 况 下 ， 它 
通过 传感器 感知 环境 。 执 行 器 允许 决策 者 与 参考 环境 采取 行动 或 通过 执行 器 作用 
于 环境 。 所 有 人 类 都 是 决策 着 ， 并 通过 他 们 的 感知 融 官 如 耳 打 、 上 鼻子 、 皮 肤 、 眼 
睛 和 舌头 感知 身边 的 环境 。 他 们 能 通过 手 、 腿 或 身体 的 其 他 部 分 作用 于 环境 。 一 
辆 智能 汽车 会 拥有 如 摄像 头 、 超 声波 和 各 种 其 他 设备 的 传感器 来 测量 距离 、 确 定 
对 象 、 计 算 光 线 和 天 气 条 件 。 它 能 用 一 些 基 于 感知 道路 和 天 气 条 件 的 机 制 应 用 于 
气体 或 者 制 动 来 作为 一 个 执行 器 作用 于 环境 。 事 实 上 决策 者 和 环境 之 间 持 续 不 断 
地 相互 影响 着 。 为 方便 起 见 ， 假 定 每 个 离散 时 间 段 决策 者 会 收 到 的 一 些 环境 状态 
的 表达 信息 。 

IA 是 一 个 自主 实体 ， 它 的 观察 和 动作 作用 于 环境 并 指导 其 行为 以 实现 目标 。 
IA 或 许 也 会 学 习 或 应 用 知识 来 达到 它们 的 目标 。 它 们 可 能 非常 简单 或 非常 复杂 。 
一 个 反射 机 例如 温度 调节 器 是 IA， 像 一 个 人 和 团体 一 起 为 了 一 个 目标 而 努力 。 
在 任何 时 候 都 可 能 有 决策 者 可 以 执行 的 合法 动作 。 决 策 者 的 政策 只 不 过 是 实现 从 
状态 中 选择 每 个 可 能 行动 概率 的 映射 。 决 策 者 和 环境 之 间 的 典型 关系 如 图 3. 1 
所 示 。 





























NN 
决策 者 传感器 
外 界 情况 如 何 














条 件 一 行为 见 在 该 怎么 
(if-then) 规则 人 


执行 器 一 














ss 





图 3.1 智能 决策 者 和 环境 


在 这 里 的 感知 指 的 是 在 给 定 状 态 下 决策 者 的 感知 输入 ， 这 些 输入 都 通过 传 感 
器 获 得 。 这 些 输入 实际 上 为 决策 者 建立 了 系统 、 环 境 或 世界 的 观点 。 决 策 者 可 以 
获得 多 样 的 传感器 和 多 种 认 知 。 在 一 场 篮 球 比赛 的 情况 下 ， 认 知 通常 是 建立 一 个 
观点 ， 包 括 一 个 队伍 里 成 员 的 站 位 、 对 手 队 伍 里 成 员 的 站 位 、 剩 余 的 时 间 、 离 篮 
人 复 的 距离 、 目 前 的 比分 、 篮 球 的 位 置 等 。 由 于 位 置 是 不 断 变化 的 ， 因 此 有 对 变化 
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的 感知 到 状态 转变 。 这 可 能 会 因为 球员 的 移动 、 传 球 、 裁 判 的 歇 哨 等 发 挥 作 用 。 
当 环 境 是 动态 的 和 决策 需要 不 断 学 习 时 ， 静 态 决 策 者 就 是 有 限 的 资源 。 决 策 者 可 
以 保持 不 断 学 习 的 学 习 决 策 者 的 概念 ， 更 适用 于 强化 学 习 的 情况 。 

决策 者 能 适应 多 样 的 和 变化 的 环境 ， 并 且 可 以 处 理 复 杂 的 任务 。 它 可 以 成 功 
应 用 在 各 种 环境 中 。 它 有 一 个 学 习 的 元 件 和 一 个 执行 元 件 。 总 之 ,一 个 合理 的 决 
策 者 应 具备 以 下 特性 : 

1) 它 应 该 能 够 收集 信息 一 连续 的 或 者 以 一 定 的 时 间 间 隔 ， 也 即 周期 性 的 ; 

2) 它 应 该 能 够 从 经 验 中 学 习 ; 

3) 它 应 该 具有 不 断 学 习 的 能 

4) 应 增加 所 知 ，; 

5) 它 应 具备 自主 性 。 

此 外 ,决策 者 还 在 参考 环境 方面 存在 许多 复杂 问题 。 环 境 一 般 是 动态 的 、 不 
断 变化 的 ， 并 且 在 实际 应 用 中 ， 环 境 是 不 确定 的 。 取 得 可 用 的 环境 信息 的 一 个 主 
要 限制 因素 是 ， 它 是 不 完全 可 观测 的 ， 或 者 说 ， 它 是 部 分 可 观测 的 。 这 就 需要 决 
策 者 灵活 地 智能 和 运行， 在 正确 的 情境 下 有 效 地 运用 这 部 分 信息 。 智 能 处 理 包括 对 
未 知事 实 的 推理 和 在 部 分 已 知 的 环境 中 正确 地 动作 。 

正如 人们 所 看 到 的 ， 智 能 需要 灵活 性 。 灵 活性 使 得 决策 者 能 处 理 动态 预测 。 
为 了 实现 要 求 的 智能 性 ， 需 要 与 IA 的 灵活 性 相关 的 一 些 具体 的 特性 。 

谈 到 灵活 性 ， 指 的 是 系统 应 该 能 够 在 变化 的 预测 条 件 下 进行 调整 ， 并 且 在 变 
化 的 环境 下 表现 出 合理 的 行为 。 为 了 实现 这 个 目标 ， 它 需 具 有 : 

1. 响应 性 

及 时 响应 感知 环境 。 它 应 该 能 够 适当 地 察觉 到 变化 并 应 对 变化 。 

2. 积极 主动 性 

应 该 表现 出 机 会 主义 、 目 标 导 向 的 行为 ， 在 适当 的 时 候 采 取 主 动 。 

3. 社会 性 

为 了 解决 问题 ， 能 够 与 人 类 互动 (他们 认为 合适 的 人 工 决 策 者 ) 。 

智能 决策 者 应 有 的 其 他 特性 如 下 : 

1. 流动 性 

它 不 应 该 只 是 一 个 静态 对 象 ， 应 该 具有 可 移动 性 。 

2. 准确 性 

智能 决策 者 应 该 是 可 信 的 。 真 理 和 环境 真实 现状 应 该 可 以 被 智能 决策 者 
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4. 合理 性 

它 应 该 表现 出 理性 的 行为 。 更 像 是 合乎 逻辑 的 行为 。 

5. 学 习 

可 以 从 变化 的 方案 、 状 态 转 变 和 行为 变化 中 学 习 。 

正如 前 面 提 到 的 ， 智 能 系统 需要 有 学 习 能 力 。 了 解 已 经 学 到 的 以 及 随 着 新 情 
境 下 探索 式 的 学 习 都 是 必需 的 。 为 了 处 理 动态 方案 ,决策 者 还 需要 学 会 处 理 勘 探 
和 开发 ， 这 就 需要 拥有 自 适 应 控制 和 学 习 能 力 。 探 讨 自 适应 控制 之 前 ， 先 来 说 一 
下 学 习 决 策 者 。 


3.2 学 习 决 策 者 


决策 者 需要 在 独立 未 知 的 甚至 是 变化 的 环境 中 工作 许多 次 。 已 经 提供 的 知识 
可 能 不 足以 应 对 新 的 和 不 断 变化 的 方案 。 同 时 ， 已 经 建立 的 知识 库 是 不 允许 决策 
者 在 未 知 或 新 形势 的 情况 下 操作 的 。 这 就 使 得 决策 者 必须 学 会 应 对 新 的 和 不 断 变 
化 的 环境 的 能 力 ， 必 要 时 进行 协调 。 这 种 学 习 能 力 可 以 使 决策 者 以 一 种 合乎 逻辑 
的 形式 应 对 新 的 或 未 知 的 情况 。 此 外 ， 学 习 可 以 通过 其 遇 到 的 越 来 越 多 的 情景 3 
帮助 改善 行为 。 最 重要 的 是 ， 决 策 者 可 以 从 经 验 中 学 习 。 决 策 者 有 三 个 重要 
元 素 : 

1) 性 能 元 素 ; 

2) 评价 元 素 ; 

3) 学 习 元 素 。 

学 习 元 素 负 责 改 进 ， 而 性 能 元 素 负责 选 择 外 部 动作 。 这 里 性 能 元 素 是 没有 学 
习 元 素 的 决策 者 。 这 里 正 试 着 将 既定 的 外 部 动作 和 评价 标准 相互 配合 以 建立 一 个 
学 习 平台 。 简 言 之 ， 不 论 简单 还 是 复杂 ， 带 有 学 习 程 序 的 决策 者 组 成 一 个 学 习 机 
制 。 而 学 习 程 序 则 基于 对 不 同行 为 表现 的 评价 ， 即 决策 者 是 如 何 运 转 的 。 这 种 反 
馈 推 动 了 学 习 动 作 。 评 论 可 以 提供 学 习 所 需求 的 反馈 ,评论 可 以 感知 决策 者 的 成 
功 并 提供 反馈 。 学 习 机 制 通过 性 能 元 素 的 设计 变 得 有 可 能 。 

另 一 个 重要 部 分 是 问题 发 生 器 ， 它 提出 了 一 些 建设 性 的 意见 ， 可 以 带 来 一 些 
新 的 丰富 的 体验 。 然 后 用 奖惩 的 模式 反馈 回来 。 这 些 奖惩 有 助 于 提高 团队 的 整体 
表现 ， 并 建立 一 个 知识 库 。 根 据 行 为 表现 的 好 坏 来 确定 奖惩 规则 ( 见 图 3.2) 。 

尽管 学 习 可 以 采取 不 同 的 方式 ， 但 强化 学 习 这 个 概念 试 着 解决 了 不 同方 案 下 
对 试验 性 学 习 模式 的 开发 利用 及 强化 等 问题 。 本 章 就 是 在 这 一 问题 方案 下 来 探讨 
强化 学 习 ， 采 取 的 策略 是 选择 一 系列 初始 状态 的 动作 ， 使 奖赏 最 大 化 。 

在 现实 的 方案 中 ， 跟 着 老师 学 习 是 一 种 监督 学 习 法 ， 这 种 学 习 法 不 是 在 任何 
情况 下 都 适用 。 而 决策 者 可 以 提前 对 环境 做 出 预 估 ， 比 如 说 这 个 方案 是 什么 样 
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的 ， 它 在 特定 的 行为 条 件 下 会 变 成 什么 ， 面 对 对 手 又 会 有 什么 样 的 反应 。 于 是 ， 
决策 者 可 以 处 理 简 单 逻辑 背景 下 的 一 些 随机 动作 。 探 究 这 些 动作 的 同时 ,一 个 决 
策 者 需要 知道 这 个 动作 所 代表 的 意义 、 所 产生 的 全 部 影响 ， 而 这 恰恰 要 通过 奖励 


或 强化 来 实现 〈 见 图 3.3) 。 








图 3.2 决策 者 


学 习 元 素 “| | ”性 能 元 素 











图 3.3 ”奖励 如 何 强化 学 习 


奖励 总 是 在 游戏 结束 时 获得 一 一 在 一 些 游戏 比赛 中 奖励 发 放 得 很 是 频繁 ， 如 


篮球 、 拳 击 等 。 输 入 认 知 序列 可 以 用 来 理解 环境 








奖励 是 感知 的 一 部 分 。 该 机 


制 需要 在 决策 者 与 环境 耦合 的 地 方 了 解 及 时 的 奖励 。 当 可 以 利用 这 些 相当 频繁 的 


奖励 时 在 学 习 上 就 取得 了 优势 。 最 优 策略 的 选择 




















于 此 一 一 最 优 策略 就 是 要 最 大 化 的 总 预期 回报 。 


需要 基于 序列 的 认 知 ， 奖 励 也 基 
强化 学 习 的 目的 是 要 了 解 所 观察 
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到 的 奖励 ， 并 确定 最 大 化 累积 报酬 的 最 优 策略 。 

正如 上 述 所 讨论 的 ， 强 化 学 习 是 关于 提出 关于 决策 者 应 当 如 何在 通过 探索 获 
得 的 经 验 基础 上 改变 所 制定 的 策略 的 规范 和 准则 。 强 化 学 习 的 一 个 重要 方面 是 了 
解决 策 者 和 环境 之 间 的 边界 。 这 个 边界 的 一 般 定 义 是 基于 决策 者 可 以 任意 控制 的 
领域 。 超 出 决策 者 控制 范围 的 领域 被 认为 是 自身 外 在 一 一 即 环境 。 在 这 个 环境 
下 ， 一 些 地 区 是 被 决策 者 所 知 的 ， 而 其 他 一 些 区 域 决策 者 或 许 不 清楚 。 奖 励 源 通 
常 是 放置 在 决策 者 之 外 。 决 俩 者 仍然 可 以 定义 内 部 奖励 或 者 内 部 奖励 的 序列 。 


3.3 回报 和 奖励 的 计算 




















从 长 期 来 看 ， 决 策 者 的 目标 就 是 最 大 化 其 所 获得 的 奖励 。 选 择 最 大 化 预期 收 
益 的 行为 就 是 学 习 的 目标 。 累 积 的 奖励 可 以 代表 回报 ， 这 些 奖 励 是 在 多 个 时 间 段 
中 获得 的 。 让 “7” 作为 学 习 开始 的 时 间 ,“#” 作 为 当前 时 间 点 。 因 而 总 奖励 就 
由 下 式 给 出 : 








Rr =r +ry+trsat™ +ry 
决策 者 环境 互动 插入 到 这 里 所 说 的 方案 。 每 一 个 方案 结束 都 有 一 个 特殊 的 状 
态 叫 终止 状态 ， 假 设 决策 者 环境 互动 被 分 成 若干 可 识别 的 方案 ， 相 应 的 任务 被 称 
作 方 案 任务 。 但 是 实际 上 ， 往 往 不 可 能 将 这 些 间 隔 分 为 大 量 的 可 区 分 的 方案 ， 万 
其 是 在 执行 连续 任务 的 连续 过 程控 制 的 情况 下 。 男 一 个 重要 方面 是 总 回报 可 表示 
为 决策 者 未 来 所 接受 的 折扣 奖励 的 和 。 


3.3.1 方案 和 连续 任务 


为 使 方案 任务 精确 ， 这 里 考虑 了 一 系列 方案 ， 每 一 个 都 是 包含 时 间 步 长 的 有 
限 序列 。 尽 管 一 般 考 虑 的 仅 局 限 在 单个 方案 ， 但 它 的 重大 意义 在 于 在 相 邻 的 方案 
间 ， 把 它 与 奖励 联系 在 一 起 。 

方案 任务 和 连续 任务 的 概念 有 其 自身 的 局 限 。 随 着 任务 开展 ,会 尝试 让 两 个 
方面 变 得 更 好 。 图 3.4 显示 了 一 个 典型 的 状态 图 。 

在 方案 任务 中 的 奖励 可 以 表示 为 
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图 3.4 状态 图 








3.4 强化 学 习 和 自 适 应 控制 


强化 学 习 (RL) 更 像 一 种 与 环境 联系 的 试 错 学 习 。 所 有 控制 问题 都 需要 处 
理 动态 系统 输入 ， 判 断 这 样 的 行为 是 否 符合 技术 要 求 。 在 使 用 强化 学 习 时 ， 未 来 
奖励 的 总 和 大 小 是 所 谓 的 值 函 数 。 它 代表 了 强化 学 习 的 主要 目标 函数 。 通 常 ， 在 
每 个 实例 中 ， 可 以 获得 估计 值 函 数 和 最 大 化 值 函数 的 动作 。 值 函数 表示 创建 的 总 
价值 ， 而 不 是 它 与 单个 感知 的 关系 。 下 面 将 对 数值 函数 评估 的 问题 进行 一 个 简单 
的 回顾 。 回 报 是 由 某 些 操 作 通 过 决策 者 参照 环境 产生 的 结果 。 对 一 个 决策 者 来 说 
回报 计算 是 外 部 的 而 不 是 内 部 的 。 这 是 因为 回报 是 参考 环境 的 而 不 是 被 一 个 决策 
者 所 控制 的 一 一 只 有 系统 的 学 习 才 能 使 一 个 决策 者 自我 提升 。 从 下 面 的 例子 中 来 
看 ， 这 是 非常 显而易见 的 一 如果 有 一 系列 正确 的 操作 ， 玩 家 就 可 以 赢得 比 
赛 一 一 但 是 这 个 奖励 来 自 外 部 而 不 完全 被 玩家 所 控制 。 总 之 ， 决 策 环境 边界 代表 
着 决策 者 绝对 控制 的 极限 。 确 定 决 策 环 境 边界 是 最 环 手 的 部 分 之 一 ， 它 通常 取决 
于 参照 的 特定 状态 、 操 作 和 反馈 。 甚 至 这 些 边界 条 件 对 于 决定 方案 都 是 敏感 的 。 
后 面 将 会 详细 讨论 这 部 分 ， 其 至 可 以 将 强化 学 习 看 作 一 个 从 各 种 交互 作用 来 进行 
目标 导向 学 习 的 抽象 概念 。 用 目的 引导 的 行为 所 需 的 学 习 的 问题 以 决策 者 、 环 境 
及 其 相互 作用 而 产生 的 动作 、 奖 励 和 状态 的 形式 来 表示 。 通 过 决策 者 做 出 的 选择 
就 代表 着 其 动作 ， 同 时 当时 的 状态 是 做 出 选择 的 基础 。 

决策 者 的 目标 是 在 它 的 接收 中 最 大 化 得 到 的 总 回报 。 自 适应 评论 员 的 概念 是 
在 不 确定 环境 下 给 予 反 馈 的 评论 ， 这 也 是 近似 动态 规划 (DP) 的 算法 的 名 字 。 

适应 意味 着 “改变 (自己 ) 使 自己 的 行为 符合 新 的 或 改变 的 环境 ”。 强 化 学 
习 就 是 尝试 去 达到 这 样 的 目标 。 一 个 自 适 应 控制 器 是 通过 与 一 个 参数 在 线 辨 识 而 
形成 的 ， 而 这 个 参数 在 线 辨 识 可 以 通过 激活 已 知 参 数 从 而 来 估计 每 一 瞬间 的 未 知 
参数 。 此 方法 的 参数 辨识 (在 文学 中 又 称 为 自 适 应 法 ) 与 相 结 合 的 控制 法 产生 
了 两 种 不 同 的 方法 。 第 一 种 方法 指 间接 自 适 应 控制 ， 参 数 系统 先 被 在 线 辨 识 ， 然 
后 用 于 计算 控制 器 参数 。 在 现实 生活 中 ， 环 境 的 变化 和 基于 条 件 控制 的 简单 规则 
并 不 能 适应 动态 环境 。 

自 适应 控制 有 三 个 必要 的 组 成 

。 环境 传感器 ; 

。 参考 模型 ; 

e。 有 自 适 应 功能 的 控制 器 〈 见 图 3.5) 。 

自 适应 控制 系统 需要 不 断 地 感知 并 响应 环境 ， 基 于 参考 一 系列 行为 的 奖励 ， 
得 出 适应 新 的 环境 方案 的 学 习 结 果 。 结 合 强 化 学 习 的 自 适应 控制 器 的 一 个 简化 的 
模型 ， 如 图 3. 6 所 示 。 
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图 3.5 强化 学 习 的 自 适应 性 
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图 3.6 强化 学 习 模 型 


在 现实 生活 中 问题 是 ， 人 工 智能 或 任何 智能 系统 将 不 可 能 协商 反对 静态 的 简 
单 环境 或 脚本 ， 而 是 反对 动态 (复杂 变化 的 ) 环境 ， 甚 至 在 某 些 情况 下 ， 会 反 
对 聪 间 的 人 类 并 改变 策略 。 人 类 将 采用 更 多 的 挑战 并 改变 策略 〈 即 前 所 未 有 ) ， 
因此 整体 环境 的 反应 不 能 完全 根据 以 往 的 经 验 预测 。 在 一 个 有 环境 的 游戏 类 型 














中 ， 对 手 们 可 以 可 能 会 一 直 使 用 一 种 策略 直到 他 失败 ， 然 后 才 会 换 一 个 
同 的 策略 或 者 在 每 场 比 赛 中 切换 策略 。 在 某 些 情况 下 ， 对 手 们 可 能 会 一 
略 直到 出 现 最 后 结果 。 这 将 导致 传统 的 学 习 系 统 无 法 使 用 它们 刚 学 到 的 
出 简单 模糊 的 规则 选择 。 因 此 ， 对 是 否 能 够 看 到 系统 能 够 适应 不 同 变化 
响应 策略 本 身 感 兴趣 ， 而 不 是 学 习 一 个 固定 的 策略 。 这 就 需要 在 静态 的 
策略 之 间 转 换 来 响应 环境 变化 。 这 里 的 智能 不 能 仅仅 依据 规则 或 已 知 的 





























新 的 、 不 
直 切 换 策 
知识 或 做 
的 方案 和 
和 变化 的 
事实 ， 而 








是 基于 动态 的 战略 响应 。 

有 主动 和 被 动 的 强化 学 习 。 被 动 强化 学 习 有 一 个 静态 的 策略 ， 而 主动 强化 学 
习 主 动 决 策 者 必须 决定 采取 什么 行动 。 决 策 者 必须 了 解 各 个 状态 之 间 的 联系 并 了 
解 它们 是 如 何 联系 的 。 在 自 适 应 动态 程序 中 ， 决 策 者 通过 学 习 环 境 的 转换 模式 和 
使 用 DP 方法 来 解决 相应 的 马尔 科 夫 决策 过 程 来 工作 。 

确定 的 控制 过 程 中 ， 存 在 一 种 状态 变量 都 是 可 识别 和 观察 到 的 假设 。 这 个 假 
设 进一步 延伸 ， 说 明 可 能 的 决定 都 是 已 知 的 ， 充 分 说 明 是 有 因果 关系 的 。 这 实际 
上 并 不 是 存在 于 现实 生活 中 的 方案 。 这 个 虚拟 空间 有 以 下 部 分 : 

1) 系统 ; 

2) 环境 ; 

3) 决策 者 。 

决策 者 是 系统 的 一 部 分 ， 也 与 环境 之 间 互 动 频繁 。 图 3.7 所 示 是 一 个 典型 的 
学 习 框 架 ， 这 里 的 决策 者 有 学 习 系 统 、 传 感 咒 和 决策 系统 ,决策 者 和 学 习 系 统 持 
续 进 行 相互 作用 。 
























































决策 者 


图 3.7 学 习 框 架 
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3.5 动态 系统 


动态 系统 表示 在 环绕 空间 的 时 间 依 赖 性 。 在 动态 系统 决策 时 ， 是 需要 探索 学 
习 的 。 在 本 节 中 ,将 阐述 在 动态 系统 中 强化 学 习 的 作用 ， 将 详细 讨论 主动 强化 学 
习 。 主 动 强化 学 习 是 与 主动 决策 者 相 联系 的 。 主 动 决策 者 是 一 个 有 能 力作 出 决定 
采取 相应 行动 的 决策 者 。 尤 其 在 动态 系统 中 ， 贪 焚 的 决策 者 无 法 学 习 最 优 策略 ， 
且 了 解 其 他 状态 的 真正 的 实用 价值 。 无 信息 或 无 模型 的 真实 环境 中 ， 一 个 状态 的 
最 佳 选 择 会 导致 不 理想 的 结果 。 在 实际 问题 中 ， 决 策 者 并 不 了 解 真实 的 环境 ， 因 
此 是 不 可 能 采取 最 优 行动 的 。 所 以 ， 有 必要 探索 最 大 限度 的 奖励 。 在 动态 系统 
下 ， 新 的 信息 加 之 已 有 的 信息 应 该 被 有 效 地 使 用 。 在 不 断 变化 的 情况 下 ， 新 的 信 
息 变 得 可 用 。 
3.5.1 离散 事件 动态 系统 

在 建立 动态 系统 的 学 习 基 础 设施 之 前 ， 有 必要 详细 地 了 解 一 下 动态 系统 及 其 
行为 。 同 时 ， 了 解 一 个 动态 系统 创造 了 何 种 类 型 的 学 习 机 会 和 动态 系统 的 预期 学 
习 行 为 也 是 很 重要 的 。 离 散 事件 动态 系统 (DEDS) 是 在 系统 触发 状态 转换 中 发 
生 离 散 事件 的 异步 系统 。DEDS 可 以 由 四 部 分 组 成 : 

G= (X, 5, U, TI) 





























式 中 X 一 一 有 限 集 状态 ; 

一 一 一 组 有 限 的 事件 ; 

U 一 一 一 系列 容许 的 控制 输入 信号 ; 

一 一 一 系列 可 被 观察 的 事件 ， 这 是 的 子 集 。 

事件 驱动 系统 可 以 使 用 离散 时 间 动 态 系统 来 模拟 。 贝 尔 曼 动态 规划 算法 可 
以 作为 系统 最 优 控制 的 数学 基础 。 自 适应 控制 系统 具有 上 自 适 应 控制 器 。 该 控制 
器 与 环境 及 决策 区 域 相互 作用 。 环 境 是 一 个 设备 或 系统 的 一 部 分 ,会 给 每 个 动 
作 一 些 响 应 。 参 考 和 性 能 标准 是 自 适应 控制 器 的 输入 。 这 种 典型 的 自 适 应 控制 
骨 需 要 基于 表现 和 结果 来 适应 控制 机 制 。 图 3. 8 描述 的 是 一 个 典型 的 自 适 应 控 
制 系统 。 

这 里 的 参考 表示 的 是 已 经 学 到 的 事实 ， 然 而 环境 响应 却 是 基于 探索 的 。 如 
果 观 察 事件 的 序列 或 认 知 的 序列 可 以 准确 地 决定 当前 状态 ， 则 DESD 是 可 观 
测 的 。 











环境 响应 环境 输入 
自 适应 de 
Be 决策 与 行动 


性 能 标准 







响应 








图 3.8 强化 学 习 的 自 适 应 控制 


疝 











3.6 强化 学 习 和 控制 


强化 学 习 和 数字 优化 技术 工作 联系 密切 。 价 值 函 数 的 形成 和 最 优 使 用 是 强化 
学 习 中 的 关键 概念 。 强 化 学 习 在 与 环境 相互 作用 时 学 习 了 价值 函数 。 此 价值 函数 
可 以 直接 用 于 实施 一 项 政策 。 决 策 者 必须 在 强化 学 习 中 切实 发 挥 重 要 组 成 作用 ， 
它 应 该 执行 如 存储 或 操纵 价值 函数 的 行动 。 这 通常 是 通过 评估 政策 和 工作 的 政策 
改善 来 完成 的 。 此 外 ， 决 策 者 必须 给 给 定 的 状态 提供 适当 控制 作用 。 所 以 ， 强 化 
学 习 决 策 者 的 两 个 最 重要 的 功能 如 下 : 

。 作为 一 个 强化 学 习 者 ; 

。 作为 一 个 控制 器 。 


3.7 马尔 科 夫 性 质 和 决策 过 程 














正如 在 之 前 章节 中 讨论 的 ， 决策 是 由 环境 状态 决定 的 。 在 后 面 将 讨论 0 学 
习 并 参考 政策 控制 来 学 习 @ 学 习 的 各 个 方面 。 本 节 将 讨论 马尔 科 夫 性 质 和 价值 
函数 。 

环境 和 系统 的 状态 都 会 影响 决策 和 结果 。 在 任何 情况 下 的 状态 表示 的 是 可 用 
的 决策 者 。 一 种 可 以 保留 所 有 相关 信息 的 状态 信号 (该 状态 信号 完整 地 总 结 
过 去 的 情形 ) 被 称 为 马尔 科 夫 或 具有 马尔 科 夫 性 。 总 之 ， 这 不 是 一 个 序列 的 状 
态 ， 相 反 的 ， 而 是 关于 目前 的 状态 的 能 力 或 保留 和 总 结 目 前 状态 决定 未 来 的 能 
力 。 它 过 去 是 独立 的 路 径 或 序列 。 如 果 环 境 响 应 对 应 于 时 间 t+1 的 状态 只 取决 
于 在 时 间 t 时 的 状态 和 行动 ， 就 说 明 该 状态 信号 具有 马尔 科 夫 性 .: 
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P(X, e AIF,) = P(X, e A|o(X),) 

如 果 状 态 信号 具有 马尔 科 夫 性 ， 另 一 方面 ， 在 任何 时 间 点 的 响应 取决 于 那个 

状态 的 状态 和 动作 ， 在 这 种 情况 下 ， 环 境 的 动态 只 通过 指定 定义 : 
P(X, = x | = wR = %) = P(X, = x [Xl = 

在 这 种 情况 下 ， 环 境 和 任务 作为 一 个 整体 ， 也 说 明 具 有 马尔 科 夫 性 。 

在 马尔 科 夫 性 质 下 ,决策 和 值 是 当前 状态 下 的 函数 ， 因 此 在 强化 学 习 的 情况 
下 它 是 非常 重要 的 。 满 足 马 尔 科 夫 性 的 决策 过 程 和 强化 学 习 任 务 被 称 为 马尔 科 夫 
决策 过 程 (MDP) 。 如 果 状 态 和 动作 空间 是 有 限 的 ， 则 决策 过 程 被 称 为 一 个 有 限 
的 MDP。 





3.8 价值 函数 


价值 函数 是 一 个 确定 在 该 状态 有 多 好 或 者 如 何 有 利于 特定 的 动作 的 状态 函 
数 。 多 好 是 从 预期 未 来 的 回报 看 出 来 的 ， 如 何 好 一 般 是 基于 未 来 奖励 或 预期 收益 


决定 的 。 
(5s) Er(R,|s, | 5) 加 ED yr 2 一 :| 
k=0 


在 7 政策 下 ，s 状态 时 ,动作 值 a 可 以 通过 政策 也 - 0”(s, a) 动 作 值 函 数 公 
式 求 得 。 动 作 值 函数 如 下 : 


QO"™(s,a) = Ei(R,|s, = s,a, = 4a) = ES yr 
k=0 


强化 学 习 的 任务 是 找到 一 个 能 最 大 限度 地 提高 长 期 奖励 的 政策 。 总 有 一 个 政 
策 ， 总 是 优 于 或 等 于 所 有 其 他 的 政策 ， 该 政策 被 称 为 最 优 政 策 。 可 能 会 有 不 止 一 
个 最 优 政策 。 最 优 政策 由 表示。 它们 有 着 同样 的 状态 值 函 数 ， 被 称 为 最 佳 状 
态 值 函数 ， 用 广 表 示 。 有 最 佳 状态 值 的 函数 的 最 优 政策 称 为 最 优 值 功能 ， 用 
Q@ ”表示 。 


3.8.1 行动 和 价值 


一 个 动作 的 选择 或 者 一 系列 动作 中 的 学 习 结 果 。 动 作 选 择 的 决策 基于 行动 价 
值 ， 采取 任何 行动 的 真正 价值 是 行动 选择 时 获得 的 平均 报酬 。 决 定价 值 的 一 个 简 
单 的 方式 是 当选 择 动作 行为 时 ， 通 过 对 获得 的 实际 回报 平均 化 处 理 : 

ee i 


当 n 值 较 小 时 ， 这 些 值 可 能 会 有 所 不 同 , 但 随 着 n 值 的 增加 ，0 的 值 会 收敛 
到 行动 的 实际 价值 ， 用 0 (a) 表 示 。 
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除了 这 个 简单 的 方法 ， 还 可 以 用 不 同 的 方法 来 估计 值 ， 这 些 方法 可 以 更 快速 
收敛 到 实际 价值 ， 并 且 更 准确 ， 所 以 被 优先 考虑 。 


3.9 学 习 最 优 策略 (有 模型 和 无 模型 法 ) 


3. 8 节 中 ,讨论 的 是 有 模型 获得 最 优 策略 的 MDP 假设 的 方法 。 该 模型 中 表 
示 的 关于 状态 转换 的 知识 ， 可 以 用 数学 形式 表示 。 提 前 了 解 模 型 ， 对 于 强化 学 习 
的 目标 是 很 有 用 的 。 可 以 有 直接 或 间接 的 自 适应 控制 ， 自 适应 控制 有 两 个 可 能 的 
策略 : 

。 无 模型 策略 : 只 有 控制 部， 无 模型 ; 

。 有 模型 策略 : 模型 是 后 天 慢 慢 形成 的 ， 用 于 导出 控制 锅 。 

强化 学 习 的 基本 问题 是 判断 最 近 做 的 选择 或 采取 的 行动 是 好 的 还 是 坏 的 。 一 
种 至 今 被 讨论 的 策略 是 只 能 等 待 直到 出 现 最 后 的 结果 : 如 果 结 果 是 好 的 ， 它 会 给 
予 奖励 ; 如 果 结 果 是 坏 的 ， 它 会 给 予 惩 罚 。Sutton 提出 的 时 间 差 分 方法 是 通过 洞 
察 力 采用 值 迭 代 法 来 调整 佑 计 值 的 状态 ， 这 种 方法 是 基于 即时 奖励 和 下 一 个 估计 
值 的 状态 !1 。 将 在 3. 10 节 中 讨论 时 间 差 学 习 策略 。 


3.10 动态 规划 























动态 规划 (DP) 更 多 的 是 集中 在 通过 划分 成 子 效 率 的 方法 来 提高 计算 的 问 
题 。DP 试图 分 阶段 性 的 来 解决 问题 。 它 是 通过 收集 计算 、 在 MDP 形式 中 有 完善 
环境 模型 的 方法 来 确定 最 佳 政策 的 算法 。 而 由 于 强化 学 习 中 需要 完美 的 环境 模 
型 ， 所 以 DP 算法 是 有 局 限 性 的 。 但 是 由 于 后 面 内 容 中 可 能 会 需要 参考 ， 所 以 在 
本 节 中 还 是 会 对 DP 做 一 个 简要 介绍 。 在 这 之 前 ， 需 要 先 了 解 一 下 动态 系统 的 重 
要 性 以 及 什么 是 动态 系统 的 部 分 可 观测 性 。DP 适用 于 离散 和 连续 时 间 的 情况 。 
DP 的 目标 是 可 以 处 理 不 同 的 结果 而 得 到 最 优 解 。 


3.10.1 动态 系统 性 质 


动态 系统 的 核心 是 变化 。 虽 然 在 数学 上 ， 系 统 在 一 个 特定 的 状态 、 任 何 时 间 
点 ， 都 可 以 用 实数 表示 。 但 是 这 里 指 的 动态 系统 ， 只 有 有 限 的 观点 可 用 。 随 着 时 
间 推 移 ， 观 点 也 在 改变 。 而 决策 和 行动 的 影响 都 是 取决 于 时 间 的 : 




















T=sH"T=# 
这 里 的 影响 可 以 通过 时 间 了 来 观察 。 
图 3.9 表示 的 是 参考 时 间 的 动态 系统 的 概念 。 这 里 包含 连续 的 变化 、 每 个 变 





化 和 决策 者 为 学 习 所 用 的 事件 。 此 外 ， 还 包括 决策 者 采取 的 行动 导致 的 一 系列 的 
事件 和 变化 。 
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行为 变化 


动态 事件 不 同 框架 不 同 结果 
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图 3.9 动态 系统 的 学 习 框 架 


3.11 自 适 应 动态 规划 


目 适应 DP 综合 了 DP 和 强化 学 习 的 概念 。 此 种 情况 下 ， 目 适应 评价 控制 会 
提供 奖励 或 处 罚 的 形式 进行 反馈 。 自 适应 评价 控制 总 能 预期 完成 ， 它 提供 了 最 优 
控制 方法 。 图 3. 10 表示 的 是 一 个 典型 的 DP 为 基础 的 自 适应 结构 的 学 习 框 架 。 
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图 3.10 自 适 应 DP 的 基础 学 习 
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自 适应 值 的 计算 基于 与 环境 相互 作用 的 评价 控制 。 策 略 会 通过 评价 控制 反馈 
而 及 时 更 新 。 自 适应 评价 控制 学 习 可 以 处 理 动态 环境 。 由 此 可 知 ， 自 适应 DP 综 
合 了 DP 和 强化 学 习 的 概念 。 


3.11.1 时 间 差 分 学 习 


DP 可 以 用 来 解决 学 习 问 题 以 及 确定 最 优 策略 。 而 DP 以 及 其 他 类 似 的 用 来 
确定 最 优 策 略 的 方法 代价 是 极 高 的 ， 很 少 有 一 整套 的 环境 知识 。 时 间 差 分 (TD) 
学 习 是 结合 的 蒙特 卡 罗 模 拟 思想 以 及 DP 方法 。TD 方法 还 可 以 从 如 无 需 环 境 建 
模 的 类 似 蒙 特 卡 罗 法 直接 经 验 中 学 到 ,， 像 DP 方法 那样 ， 更 新 基于 其 他 已 经 学 到 
的 估计 方法 并 且 无 需 等 待 估计 的 最 终结 果 。 

蒙特 卡 洛 方法 需要 等 到 结束 的 时 候 ， 而 TD 方法 只 需要 等 到 下 一 个 时 间 。 每 
一 个 时 间 之 后 ， 即 从 t 到 t++1， 它 会 立即 形成 一 个 目标 ,给 有 用 的 更 新 可 以 观察 
到 的 奖励 和 估计 值 。 

最 简单 的 TD 方法 称 为 TD (0)， 可 以 用 如 下 形式 表示 : 

由 二 Ko) +alrnn +yV(s) - Vs,)] 

最 简单 的 TD 方法 是 基于 一 个 未 来 的 奖励 ， 而 蒙特 卡 罗 方 法 则 是 基于 一 整套 
可 观测 序列 的 奖励 ， 直 到 整个 序列 的 结束 。 两 种 方法 各 有 优 缺 点 。 用 一 种 取 中 良 
的 方法 即使 用 中 间 数 奖励 。 蒙 特 卡 罗 方 法 的 目标 是 估算 一 而 这 里 的 预期 回报 率 却 
是 不 知道 的 。 

在 中 间 奖 励 方法 中 ， 有 基于 使 用 过 的 备份 的 数量 步骤 方法 ， 其 中 包括 一 步 备 
份 、 两 步 备 份 、 三 步 备 份 以 及 n 步 备 份 。n 步 备份 仍然 是 TD 方法 ， 因 为 它 是 在 
如 何 改 变 后 来 的 状态 的 基础 上 来 改变 早先 估计 的 。 唯 一 的 不 同 在 于 ， 它 不 是 只 有 
一 个 步骤 ， 而 是 在 n 步 以 后 ,这 就 是 为 什么 被 称 为 n 阶 TD 法 。 

例如 ， 当 每 天 工作 在 一 个 软件 项 目 中 时 ， 就 会 想 要 预测 多 久 才能 完成 项 目 。 
一 个 简单 的 方法 就 是 通过 在 最 后 期 限 即将 结束 的 时 候 的 反馈 。 甚 至 可 以 分 成 在 不 
同 阶段 几 种 类 型 的 反馈 ， 如 开发 模块 后 的 反馈 。 它 可 以 通过 每 天 过 后 的 进展 或 日 
常 项 目 建设 的 反馈 被 进一步 延伸 。 完 成 项 目 所 需 的 预期 工时 的 值 就 是 价值 。 
Scrum 方法 论 中 的 一 个 典型 的 燃烧 计算 可 用 于 TD 学 习 。 在 每 一 阶段 结束 的 时 候 ， 
预期 项 目 完 成 时 间 都 会 被 验算 一 遍 。 
3.11.1.1 TD 预测 的 优势 

与 蒙特 卡 罗 法 相 比 ，TD 方法 有 很 多 优点 。 最 重要 的 一 个 优势 是 它 的 奖励 不 
需要 环境 模型 ， 而 且 它 也 不 需要 下 一 步 的 概率 分 布 。 另 一 个 在 实时 性 系统 中 更 为 
显著 的 重要 优势 是 ， 它 可 以 以 完全 增 量 的 方式 在 线 实 现 。 因 此 ， 它 对 于 动态 系统 
非常 有 用 。TD 方法 每 次 只 需 等 待 一 个 时 间 步 。 这 个 特性 在 许多 现实 生活 问题 中 
是 非常 有 用 的 ， 因 为 每 个 阶段 会 很 入。 通过 每 个 过 渡 学 习 有 助 于 快速 学 习 ， 因 此 
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TD 方法 一 般 比 蒙特 卡 罗 法 收敛 得 快 。 
3.11.2 Q 学 习 


@ 学 习 不 是 估计 一 个 系统 模型 ， 而 是 基于 估计 实 值 函 数 0 的 状态 和 行为 ， 
其 中 Q(x, a) 是 执行 行动 的 状态 x 和 优化 之 后 的 预期 的 综合 折扣 。0 学 习 机 更 像 
是 学 会 了 像 在 前 面 讨论 到 的 动作 值 功能 的 功能 。 这 个 动作 值 功能 也 被 称 为 在 给 定 
一 个 特定 状态 的 特定 行为 的 @ 功能 。Q@ 学 习 是 一 种 通过 学 习 动 作 值 功能 工作 的 
技术 。 由 于 环境 是 动态 的 ， 所 以 了 解决 策 者 如 何 可 以 在 任意 环境 下 学 习 最 优 政策 
是 很 重要 的 。Q 学 习 算法 的 性 能 如 下 所 示 : 

。 它 是 一 个 增强 算法 ， 在 该 意义 上 是 在 每 个 转变 上 的 增 量 权 重 ; 

。 它 具 有 直接 性 ; 

它 保 证 了 在 有 限 数量 状态 下 和 离散 情况 下 的 收敛 性 ; 
它 可 以 学 习 任何 序列 的 经 验 。 

Q 学 习 不 存储 行动 和 值 ， 但 是 它 存 储 0 值 。 对 于 一 个 给 定 的 状态 ,假设 ;和 
行为 a, 最 优 0 值 表示 为 Q"(s, a)。 这 里 的 0*(s, a) 表 示 的 是 预期 强化 总 和 从 
第 一 步行 动 a 开始 到 开始 状态 *， 之 后 进行 最 优 行动 。 得 到 的 值 是 此 状态 下 的 最 
大 @ 值 。 所 以 显然 与 此 最 大 @ 值 有 关 的 行动 一 简称 为 此 策略 状态 下 的 状态 0 值 。 

用 P “表示 最 优 策略 。 

状态 动作 结合 质量 表示 为 



































OO:9Xx4 一 民 
Q(x, a) =Elr, +Yy, Q(x ,bx =%,a, =a) 
Q 学 习 保持 估计 的 0 值 。Q 函数 结合 状态 转换 和 不 依赖 于 状态 转换 概率 的 佑 
计 未 来 的 奖励 的 信息 ,减少 了 计算 量 和 显 式 状态 转换 概率 的 独立 性 ， 使 0 学 习 
更 有 吸引 力 。 


3.11.3 统一 的 视图 


到 目前 为 止 讨论 的 所 有 强化 学 习 方法 有 许多 共同 之 处 : 

1) 使 用 它们 的 目的 是 评估 价值 函数 。 价 值 函 数 是 强化 学 习 中 的 关键 概念 ， 
它们 决定 了 整个 学 习 的 轨道 。 

2) 到 目前 为 止 讨论 的 方法 通过 在 实际 或 可 能 状态 轨迹 的 备份 值 进行 操作 。 
它 是 基于 实际 或 期 望 的 回报 。 

3) 这 些 方法 遵循 广义 政策 迭代 (GPI) 的 策略 ， 这 意味 着 他 们 保持 一 个 近 
似 值 函 数 和 一 个 近似 的 政策 ， 并 且 不 断 尝 试 着 在 其 他 的 基础 上 改进 每 一 个 。 

作为 一 个 统一 的 视图 ， 这 些 价值 函数 、 备 份 和 GPI 在 智能 建 模 中 发 挥 着 重要 
作用 ， 并 因此 决定 了 学 习 的 轨迹 。 最 后 ， 强 化 学 习 的 目的 是 产生 一 个 基于 现 有 的 



































知识 和 环境 产生 学 习 指针 响应 的 统一 视图 。 
3.12 ”范例 一 一 拳击 训练 器 的 强化 学 习 


强化 学 习 可 以 应 用 于 一 个 目 动 化 的 拳击 训练 器 的 情况 。 对 手 可 能 会 有 新 的 举 
措 ， 只 根据 过 去 的 信息 或 知识 可 能 行 不 通 。 

拳击 手 有 一 些 内 部 的 状态 ， 随 着 对 外 部 世界 的 感知 ， 有 必要 了 解 对 手 的 意 
图 。 拳 击 手 拥有 给 自己 和 对 手 之 间 的 相对 角度 和 距离 的 感知 系统 ， 推 理 机 制 会 推 
断 出 可 能 的 意图 、 可 能 的 动作 、 每 个 动作 带 来 的 影响 。 现 在 ， 基 于 这 些 行动 的 训 
练 器 会 了 解 对 手 的 能 力 ， 并 且 能 根据 帮助 对 方 应 对 之 后 的 比赛 做 出 相应 的 反应 。 

学 习 系 统 将 根据 目前 实行 的 奖励 和 惩罚 机 制 决 定 下 一 步 的 动作 。 当 这 种 情况 
发 生 时 ， 训 练 器 可 能 会 稍微 远离 拳击 手 。 在 正常 条 件 下 ， 它 会 观察 对 手 的 一 些 
特征 。 

在 许多 应 用 中 系统 的 行为 模式 是 动态 的 ， 知 识 基础 需要 在 每 一 个 探索 基础 上 
改进 。 强 化 学 习 提 供 了 动态 学 习 的 能 力 来 处 理 这 些 情 况 。 


























3.13 人 小结 


学 习 并 不 是 孤立 地 进行 。 学 习 一 般 通 过 相互 作用 和 响应 来 发 挥 作用 。 强 化 学 
习 尝 试 着 克服 一 些 传 统 教学 的 局 限 性 。 强 化 学 习 使 用 已 学 过 的 事实 ， 基 于 新 的 行 
动 和 方案 勘探 开发 新 的 知识 。 它 尝试 着 通过 参考 环境 学 习 ， 学 习 进 行 在 与 真实 环 
境 联系 之 中 。 

强化 学 习 尝 试 使 用 学 习 中 最 重要 的 一 部 分 ， 也 就 是 说 ， 它 通常 作用 在 与 真实 
环境 的 联系 之 中 。 探 索 活动 通过 感知 周围 环境 的 回应 进而 行动 。 人 们 执行 的 每 个 
操作 都 会 得 到 一 定 的 奖励 ， 这 些 奖励 反映 操作 的 实用 性 和 相关 性 ， 这 些 奖 励 建立 
了 学 习 指南 。 在 探索 过 程 中 ， 知 识 是 基于 决策 者 从 环境 中 得 到 的 响应 建立 。 强 化 
机 器 学 习 构 建新 一 代 机 器 学 习 的 基础 ， 学 习 不 再 是 一 个 扳 立 的 活动 。 经 过 接 下 来 
的 几 章 ， 这 些 想法 会 扩展 成 协作 的 和 系统 的 学 习 ， 并 使 全 面 学 习 成 为 可 能 。 
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第 4 章 系统 性 机 器 学 习 和 模型 


4.1 简介 


在 第 3 章 中 已 经 研究 了 强化 学 习 。 在 本 草 中 ,将 从 系统 性 的 角度 详细 阐述 决 
策 和 学 习 模 型 。 系 统 模型 中 最 重要 的 方面 是 加 深 对 系统 的 理解 ， 包 括 它 的 参数 以 
及 决策 边界 。 学 习 是 提供 正确 决策 所 必需 的 ， 这 也 与 决策 方案 密切 相关 。 学 习 不 
可 能 是 绝对 的 ， 它 随 着 环境 的 变化 而 变化 。 每 一 个 决策 方案 需要 不 同 的 参数 ， 决 
策 必须 是 依据 背景 而 定 的 。 重 要 的 是 要 明白 对 一 个 特定 决策 的 期 望 是 什么 。 

学 习 是 一 个 合作 的 过 程 。 这 种 合作 需要 集成 不 同 来 源 的 数据 ， 从 不 同 的 视角 
解释 信息 ， 并 依据 不 同 的 背景 来 推断 。 系 统 性 机 器 学 习 模 型 确定 系统 、 决 定 参 
数 ， 并 参照 背景 提供 最 佳 的 信息 。 在 这 个 模型 中 ， 决 策 不 只 是 关于 行动 和 结果 ， 
它 是 在 时 间 、 决 策 和 系统 空间 上 的 一 系列 行动 和 一 系列 成 果 。 机 顺 学 习 在 动态 方 
案 中 需要 持续 不 断 地 确定 这 些 参数 。 该 模型 应 该 依据 决策 情景 选择 最 可 能 的 一 组 
参数 和 系统 的 最 佳 界限 ， 并 演绎 该 决定 背景 。 学 习 的 强度 取决 于 决策 背景 的 精确 
性 。 这 可 以 利用 半 监 督 的 推理 机 制 推断 未 知 的 事实 并 建立 系统 观点 。 

数据 输入 来 自 各 种 来 源 。 这 些 输 入 可 以 来 自 系 统 和 子 系统 ， 并 且 可 以 是 数 
据 、 行 为 、 短 期 效果 、 判 断 结果 其 至 是 模型 等 形式 。 这 些 来 自 不 同 来 源 的 输入 或 
者 说 数据 构建 起 了 决策 背景 的 平台 。 系 统 模型 是 基于 情境 、 基 于 时 间 和 基于 对 长 
期 结果 的 推理 的 。 在 本 章 中 ， 将 讨论 系统 学 习 (SL) 和 决策 框架 。 该 模型 的 学 
习 是 数据 驱动 的 ， 因 此 它 总 是 试图 确定 最 合适 的 可 能 性 。 该 模型 不 断 参 照 环 境 来 
进行 学 习 ， 这 里 的 环境 是 依照 决策 情景 决定 的 ， 并 不 同 于 在 前 面 的 内 容 中 提 到 的 
环境 。 信 息 的 来 源 、 整 合 多 传感器 的 数据 和 基于 背景 的 决策 是 系统 决策 的 重要 
因素 。 

知识 获 了 到、 知识 构建 和 知识 应 用 是 整个 学 习 过 程 中 的 重要 方面 。 知 识 在 本 质 
上 是 需要 系统 化 的 。 知 识 构建 和 收集 的 区 别 是 很 微小 的 。 就 系统 而 言 ， 系 统 性 知 
识 构建 在 持续 进行 ， 而 且 不 是 在 孤立 状态 中 构建 。 为 了 不 断 学 习 ， 本 章 还 将 试图 
探讨 决策 影响 的 分 析 。 对 于 任何 行动 都 会 导致 许多 能 被 观察 到 的 可 能 结果 ， 有 些 
是 直接 和 明显 的 ， 有 些 是 微小 的 ， 但 在 另外 的 方面 的 影响 更 大 ， 有 些 可 能 会 来 得 
晚 一 些 ， 有 些 可 能 超越 了 可 见 的 范围 ， 而 男 一 些 则 难以 映射 到 行动 。 任 何 行动 都 
会 产生 结果 ,但 是 重要 的 是 要 知道 在 特定 情况 下 这 些 行动 和 结 采 间 的 相关 性 。 
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学 习 是 基于 学 习 引 擎 从 系统 行为 获取 的 反馈 的 。 得 到 正确 的 反馈 并 解释 它 来 
建立 正确 的 学 习 背 景 是 本 章 要 解决 的 一 些 其 他 方面 的 问题 。 在 本 章 中 ， 将 研究 杠 
架 和 模型 ， 它 可 以 帮助 建立 一 个 系统 观点 ， 并 为 一 个 给 定 的 决策 背景 提供 最 佳 的 
决策 。 








4.2 系统 学 习 的 框架 


一 个 SL (系统 学 习 ) 框架 指 的 是 为 了 支持 系统 机 融 学 习 和 决策 制定 的 框架 
结构 。 决 策 模 型 以 决策 制定 的 现 有 选择 为 基础 。 理 性 的 决策 模型 通常 会 分 解决 俩 
问题 的 要 素 ， 这 有 助 于 深入 了 解 各 种 选择 、 不 确定 性 和 结果 。 描 述 性 模型 更 多 的 
是 基于 局 发 式 的 ， 并 且 决 策 的 制定 是 基于 事物 实际 是 怎样 工作 的 。 下 一 个 层级 是 
理解 情景 ， 我 们 将 称 之 为 “情景 意识 ”， 情 景 意 识 是 关于 行动 、 系 统 和 关系 的 意 
识 ， 它 为 随后 的 决策 制定 和 动态 系统 操作 的 执行 提供 了 主要 依据 。 人 情景 意识 发 展 
了 视角 。 它 需要 一 种 机 制 来 快速 收集 环境 数据 ， 甄 别 、 整 合并 解释 这 些 数据 ， 最 
终 才 能 建立 系统 知识 。 

情景 意识 包括 检测 相关 元 素 ， 感 知 其 状态 、 属 性 ， 以 及 相关 元 素 在 环境 中 和 
有 关 环 境 的 动态 。 汽 车 芍 驶 员 需 要 感知 关于 他 的 车 的 车 速 、 道 路 状况 、 道 路 类 
型 、 邻 近 车 道 车 辆 的 车 速 、 方 向 、 里 程 碑 等 。 当 前 状态 的 理解 是 另 一 重要 部 分 ， 
这 包括 根据 决策 情景 和 系统 目标 理解 每 个 参数 的 意义 。 整 体系 统 的 构建 也 正 是 基 
于 对 这 些 信 息 的 理解 。 整 体系 统 的 观点 被 推断 ， 并 且 基 于 系统 观点 每 个 可 能 的 动 
作 的 影响 也 被 确定 下 来 。 

问题 空间 中 元 素 的 观点 有 关 决 策 空间 和 时 间 ， 以 及 在 环境 中 对 它们 的 意义 的 
理解 ， 在 做 系统 决策 制定 时 都 需要 被 考虑 在 内 。 非 系统 性 模型 更 倾向 于 抽象 的 合 
理性 而 忽略 系统 的 复杂 性 。 方 案 与 “情景 意识 ”有 一 些 共同 点 。 

本 节 介 绍 了 系统 学 习 的 框架 ,涉及 学 习 的 六 个 重要 方面 : 

1. 信息 开发 

它 是 识别 相关 信息 的 来 源 和 利用 这 些 来 源 的 信息 并 产生 结果 的 过 程 。 变 化 和 
模型 是 可 以 被 感知 的 。 信 息 的 利用 需要 基于 背景 。 例 如 基于 背景 的 数据 挖 气 技 
术 ， 可 用 于 获得 以 背景 为 基础 的 数据 。 

2. 知识 构建 

知识 构建 包括 数据 挖掘 的 使 用 、 整 合 信息 以 及 利用 参考 程序 进行 信息 映射 。 
基于 推断 的 可 能 性 、 可 行 性 、 影 响 和 效益 的 一 体 化 集成 被 用 来 构建 知识 。 知 识 库 
为 决策 制定 和 学 习 搭 建 了 平台 。 这 里 有 两 个 层级 的 学 习 一 一 基于 数据 和 模式 的 学 
习 和 基于 情景 的 学 习 。 知 识 库 主要 集中 于 基于 数据 的 学 习 。 
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3. 分 析 决 策 方案 

决策 方案 是 一 个 比较 特殊 的 情况 ， 这 种 情况 是 需要 利用 学 习 来 获得 有 效 的 决 
策 或 结果 。 该 决策 方案 从 系统 的 视角 进行 分 析 。 决 策 方案 是 决策 状态 表示 、 决 策 
目标 以 及 与 决策 制定 相关 的 参数 。 对 决策 方案 的 一 个 清晰 认识 有 助 于 更 好 地 学 习 
决策 方案 。 决 策 方案 也 有 助 于 理解 重要 元 素 并 赋予 参数 以 合适 的 权重 。 

4. 关于 决策 系统 边界 

系统 边界 定义 了 决策 制定 和 可 能 影响 的 区 域 。 这 些 边 界限 定 了 受 决 定 影响 的 
有 效 面积 。 系 统 分 析 和 决策 方案 被 用 于 检测 系统 的 边界 。 这 些 边 界 并 不 是 通用 的 
而 只 限于 决策 情景 

5. 背景 创建 

信息 通常 是 零 零星 星 被 获取 的 。 特 定 的 决策 方案 的 整体 决策 背景 是 决策 制定 
的 关键 。 边 界 检测 和 系统 参数 被 用 来 建立 背景 。 

6. 行为 空间 与 影响 空间 的 分 析 

行为 空间 与 影响 空间 是 不 同 的 ， 因 此 ， 分 析 该 空间 ， 并 且 学 习 行 动 空间 和 决 
策 空 间 是 必需 的 。 基 于 背景 ， 行 动 空 间 和 决策 空间 被 确定 下 来 。 环 境 、 决 策 空间 
和 行动 空间 被 用 于 系统 性 学 习 和 制定 决策 。 

这 里 行为 空间 是 一 个 智能 决策 者 实施 和 “决策 系统 ”为 寻求 理想 的 结果 而 
做 出 决定 的 区 域 一 一 例如 ， 自 动 开 关门 : 行为 空间 是 门 及 其 框架 。 影 响 空间 可 以 
大 大 超出 行为 空间 一 一 例如 ， 如 果 门 在 一 个 错误 的 刷卡 情况 下 打开 ， 也 就 是 说 ， 
一 个 错误 的 决定 可 能 会 影响 整个 店铺 。 即 使 当时 不 能 立即 看 见 ， 这 也 可 能 会 影响 
到 商店 以 外 的 地 区 。 如 果 门 一 直 保 持 打开 状态 ， 则 可 能 会 影响 到 空调 器 及 其 压 
缩 机 。 

决策 空间 是 决策 者 可 利用 的 一 系列 有 效 并 合法 的 选择 。 决 策 空间 限定 了 决策 
区 域 及 可 供 选择 的 点 ， 并 且 规 划 了 决策 制定 的 区 域 。 

复杂 的 决策 问题 往往 有 很 多 参数 。 在 某 些 情况 下 ， 这 些 参数 之 间 的 关系 并 不 
是 很 明确 。 这 些 关 系 在 解决 问题 的 不 同 阶段 中 被 揭示 。 这 些 问 题 需要 被 分 析 并 且 
对 问题 中 参数 间 的 关系 的 清晰 认识 会 引导 做 出 一 个 问题 恰当 的 解决 方法 。 在 许多 
决策 问题 中 会 感知 到 行为 空间 和 影响 空间 是 相同 的 。 在 理想 情况 下 ， 行 为 空间 和 
决策 空间 在 大 多 数 情况 下 并 不 是 相同 的 。 正 如 上 面 所 讨论 的 ， 动 作 空 间 是 指 决策 
解决 方案 实施 的 空间 ， 做 出 决策 ， 并 采取 行动 。 在 进入 该 框架 细节 之 前 ， 参照 系 
统 机 器 学 习 来 定义 影响 空间 。 


4.2.1 影响 空间 


影响 空间 指 的 是 行为 空间 中 因 采 取 行 动 而 产生 影响 的 区 域 或 空间 ， 这 包括 直 
接 和 间接 的 影响 。 由 于 整个 世界 是 相连 接 的 ， 影 响 空间 可 以 是 整个 世界 。 但 为 了 
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方便 和 实际 应 用 ， 影 响 空间 被 定义 为 动作 影响 超过 可 以 被 感知 和 测量 的 茶 一 国 值 
的 空间 ， 该 阅 值 是 由 系统 决策 方案 定义 的 。 

图 4. 1 描述 了 一 个 系统 学 习 模 型 ， 该 信息 是 从 所 有 可 获得 的 信息 源 收集 的 。 
这 些 信息 是 不 完全 的 信息 ， 因 为 它 可 能 仅仅 是 局 部 的 ， 可 能 含有 噪声 ， 并 且 还 可 
能 包含 和 决策 方案 不 相关 的 信息 。 这 是 原始 信息 的 采集 。 这 些 信息 连同 系统 的 输 
和 入、 模型、 可行 性 、 影 响 和 可 能 性 一 起 用 于 建立 知识 。 这 方面 的 知识 更 加 丰富 ， 
并 且 包 含 关 于 模式 和 可 行 性 的 信息 假象 的 映射 。 这 些 知 识 和 决策 分 析 有 助 于 建立 
综合 的 决策 方案 。 决 策 方案 和 系统 信息 有 助 于 检测 边界 。 系 统 边界 帮助 人 们 完善 
知识 并 且 可 以 帮助 人 们 做 出 正确 的 决策 。 在 所 有 可 用 信息 的 帮助 下 ， 形 成 决策 制 
定 的 背景 ， 并 且 这 个 背景 也 用 于 系统 性 机 顺 学 习 和 决策 制定 。 行 为 空间 和 决策 空 
间 以 及 情景 资讯 使 系统 性 机 器 学 习 成 为 可 能 。 

决策 问题 系统 
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图 4.1 系统 学 习 模型 
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图 4. 2 描述 了 系统 决策 制定 典型 的 信息 集成 方案 。 这 里 的 信息 来 自 于 各 类 子 


系统 一 一 或 者 说 ,来 自 于 不 同 子 系统 的 信息 源 。 











有 相关 子 系统 
的 信息 考虑 在 内 


图 4.2 信息 集成 








根据 上 面 的 讨论 ， 一 个 系统 学 习 框 架 的 目的 是 为 了 理解 系统 、 提 供 决 策 和 为 
整个 关于 决策 背景 的 优化 学 习 。 一 个 系统 太 过 泛 化 使 得 整体 的 计算 和 确定 依赖 关 
系 非常 复杂 。 一 个 简化 了 的 代表 系统 如 图 4. 3 所 示 。 
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图 4.3 系统 的 边界 和 环境 





多 个 信息 源 可 能 带 来 异 构 信息 。 这 些 信息 可 能 是 不 完整 的 ， 并 且 充 满 噪声 。 
来 自 某 一 源 的 信息 也 许可 以 补充 其 他 源 的 信息 。 协 作 学 习 可 以 从 多 个 信息 源 有 效 
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地 学 习 。 在 协作 学 习 中 ,不 同 的 信息 源 和 决策 者 彼此 交互 作用 。 在 这 种 情况 下 ， 
结论 或 整体 学 习 不 会 直接 采用 一 个 信息 源 来 的 数据 ， 或 者 仅仅 整合 不 同 信息 源 的 
数据 。 选 择 合适 的 数据 和 协作 学 习 框 架 使 从 多 个 来 源 的 数据 可 以 学 习 正 是 挑战 
所 在 。 

一 个 典型 的 协作 学 习 系 统 如 图 4.4 所 示 。 这 里 传播 介质 为 不 同 信息 源 间 提供 
了 一 个 互动 的 平台 。 这 些 信息 来 源 一 般 都 是 智能 决策 者 或 数据 存储 。 评 价 学 习 、 
决策 参数 、 评 论 输 入 以 及 自主 学 习 都 被 学 习 控 制 锅 所 采用 。 假 如 有 任何 试探 性 动 
作 ， 合 作 学 习 都 将 会 从 环境 中 得 到 反馈 。 
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图 4 4 协作 学 习 模 型 

结果 间 的 相互 作用 贯穿 多 个 智能 体 ， 更 确切 地 说 是 复合 源 被 用 于 学 习 。 学 习 

是 多 智能 体 或 这 些 结果 的 解释 之 间 相互 合作 的 结果 。 这 是 关于 理解 在 系统 和 决策 
空间 中 多 种 行动 和 其 产生 的 复合 响应 。 学 习 的 第 一 层级 是 在 系统 行为 中 映射 行动 
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和 变化 。 由 于 系统 通常 是 一 个 比 决策 空间 更 广泛 的 理念 ， 因 此 需要 采用 合作 和 并 
行 机 器 学 习 。 面 临 的 挑战 仍然 是 如 何 适应 背景 ， 并 提出 决策 的 整体 背景 。 这 里 有 
一 些 单独 的 更 小 的 决策 和 行为 空间 例子 。 虽 然 对 于 这 些 行为 ,决策 空 间 可 能 会 
所 不 同 ， 但 是 对 于 这 些 不 同 的 行动 空间 ， 影 响 空间 可 以 是 相同 的 。 与 不 同 的 、 较 
小 的 但 是 目标 明确 的 决策 空间 相 比 ， 影 响 空间 也 许 会 更 大 而 且 可 能 会 相同 。 学 习 
者 在 做 这 些 动作 时 ， 会 探索 它 的 影响 空间 。 在 协作 学 习 中 ， 整 体 学 习 随 着 多 个 学 
习 者 而 变化 ， 并 且 当 环境 发 展 时 和 对 系统 性 方面 认识 逐渐 清晰 后 ， 学 习 者 改变 其 
行为 ， 而 整体 学 习 也 构建 起 其 背景 。 

大 约 所 有 的 学 习 系统 中 ， 决 策 者 都 是 独立 学 习 的 。 但 实时 系统 (其 通常 是 
多 智能 体系 统 ) 的 主要 有 利 属性 是 从 多 智能 体 或 不 同 信息 源 的 经 验 中 学 习 的 能 
力 。 从 多 个 信息 源 间 的 协作 信息 中 学 习 是 关键 。 此 外 ， 多 智能 体 可 以 向 更 多 的 专 
家 咨询 或 从 他 们 那里 得 到 建议 。 这 样 就 可 以 建立 更 多 的 知识 ， 因 为 协作 并 且 知 识 
是 在 协作 中 建立 的 ， 从 而 使 学 习 的 提高 成 为 可 能 。 这 些 信 息 源 本 号 也 表现 出 某 种 


口 合 尼 
管 Ho 


协作 学 习 中 面临 的 最 重要 的 问题 就 是 评估 这 些 信息 及 从 其 他 来 源 获 得 的 知 
识 ， 并 结合 这 些 知 识 来 构建 一 个 系统 观点 。 

自主 学 习 在 每 一 个 智能 体 中 都 会 发 生 。 这 些 智能 体 彼此 之 间 相 互 作用 产生 协 
作 学 习 。 

图 4.5 表示 了 一 个 关于 系统 边界 的 系统 学 习 模 型 。 系 统 学 习 模 型 需要 输入 有 
关 边 界 和 系统 环境 ， 并 且 每 一 个 动作 都 参照 学 习 策 略 进行 测试 。 学 习 策 略 又 通过 
该 操作 的 环境 反应 进行 优化 。 
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图 4.5 系统 学 习 模 型 
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多 重 验 证 和 重新 评估 在 数据 用 于 学 习 之 前 就 已 经 完成 。 
系统 性 机 器 学 习 模 型 。 系 统 学 习 模型 有 两 种 类 型 ; 

1) 以 交互 作用 为 中 心 的 模型 ; 

2) 以 结果 为 中 心 的 模型 。 


4.2.2 交互 作用 为 中 心 的 模型 


在 交互 作用 为 中 心 的 模型 中 ， 学 习 基 于 小 型 交互 作用 的 结果 产生 ， 而 不 仅仅 
基于 随 之 而 来 的 结果 。 而 以 结果 为 中 心 的 模型 是 基于 结果 来 进行 学 习 ， 这 可 能 和 
强化 学 习 中 的 时 间 差 分 方法 有 一 点 相似 。 其 主要 的 区 别 在 于 交互 作用 和 结果 的 测 
量 。 相 互 为 中 心 的 学 习 也 被 称 为 协作 学 习 ， 协 作 学 习 指 的 是 在 一 起 学 习 ， 这 使 得 学 
习 以 观察 和 由 多 智能 体 收集 的 资料 为 基础 来 进行 。 在 多 智能 体 的 协作 学 习 中 ， 几 个 
智能 体 通过 他 们 之 间 的 交互 作用 使 学 习 效 果 最 大 化 。 系 统 性 机 器 学 习 本 质 上 就 是 一 
种 多 智能 体系 统 。 因 为 系统 学 习 模 型 期 望 理解 各 子 系统 和 系统 的 不 同 部 分 之 间 的 交 
互 和 行为 ， 所 以 它 也 是 一 种 多 智能 体 协作 学 习 。 图 4. 6 描述 了 以 交互 作用 为 中 心 的 
模型 。 一 些 子 系统 彼此 相互 作用 ， 这 些 相互 作用 被 用 于 系统 性 机 器 学习 。 
































图 4.6 以 交互 作用 为 中 心 的 模型 


4.2.3 以 结果 为 中 心 的 模型 


以 结果 为 中 心 的 模型 基本 上 都 是 基于 结果 的 模型 。 这 些 模型 并 不 基于 中 间 的 
交互 。 任 何 过 渡 阶 段 的 结果 都 用 来 推断 系统 的 参数 ， 结 果 在 各 子 系统 中 被 使 用 。 
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在 这 种 特殊 情况 下 ， 影 响 空间 被 预定 义 。 子 系统 之 间 的 关系 是 用 来 削弱 影响 空间 
中 对 各 种 子 系统 的 影响 的 。 这 种 学 习 更 多 的 是 基于 成 果 、 被 弱化 的 影响 及 推测 出 
来 的 系统 的 决策 参数 。 它 更 像 是 强化 学 习 中 使 用 的 回报 学 习 。 但 是 回报 被 打折 
扣 。 在 这 种 情况 下 ， 回 报 在 影响 空间 中 被 估量 并 且 通 过 影响 空间 进行 折 现 来 确定 
背景 和 代表 性 回报 。 

以 结果 为 中 心 的 学 习 对 结果 进行 了 简化 。 对 于 动作 或 一 组 动作 ,用 [1， cs，…， 
m] 表示 ， 子 系统 的 结果 为 [5 ， 5s，…， sm], 例如 [oil，op，…，am]。 

结果 的 表示 : 对 于 任何 动作 w 让 s 充当 其 结果 。 将 这 些 结果 映射 到 动作 用 
下 

回报 计算 ;对 于 每 一 个 动作 结果 都 可 以 根据 决策 方案 进行 映射 。 奖 励 参照 决 
策 方案 进行 计算 ， 这 些 奖励 都 用 于 学 习 。 

折算 回报 ; 这 些 回报 不 可 能 是 统一 的 ， 需 要 参照 时 间 和 相关 性 进行 折算 。 

图 4 7 描述 了 一 个 以 结果 为 中 心 的 学 习 模型 。 这 里 的 学 习 结果 不 是 基于 子 系 
统 之 间 的 关系 ， 而 是 基于 结 
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图 4.7 结果 为 中 心 的 模型 





4.3 捕捉 系统 视图 


系统 视图 是 关于 系统 的 视图 ， 它 代表 了 系统 不 同 部 分 的 、 子 系统 间 的 关系 及 
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它们 之 间 的 依赖 性 ， 并 且 给 出 了 系统 的 全 局 关系 及 决策 中 心 图 。 

系统 一 般 是 支离破碎 的 。 为 决策 制定 确定 系统 边界 和 构建 系统 视图 是 两 个 最 
重要 的 任务 。 系 统 的 视图 零散 地 被 收集 ， 然 后 被 集成 构建 一 个 全 局 的 系统 视图 。 
系统 视图 包括 水 平和 垂直 视角 。 因 为 系统 的 边界 是 不 知道 ， 因 此 构建 系统 视图 是 
一 个 艰巨 的 任务 。 智 能 决策 者 或 其 他 数据 采集 源 从 系统 的 不 同 部 分 和 不 同 的 角度 
收集 信息 。 系 统 视 图 是 基于 所 获取 的 数据 构建 的 。 这 里 是 一 些 使 用 该 信息 来 建立 
最 佳 系统 视图 的 各 种 方法 。 重 要 模型 讨论 如 下 : 

。 以 预定 义 边界 为 基础 的 系统 视图 构建 :在 这 种 情况 下 ， 数 据 是 在 预定 的 
或 已 定义 的 系统 视图 边界 内 获取 的 。 对 于 动作 空间 内 的 每 一 个 动作 ， 关 于 定义 参 
数 在 数据 和 行为 方面 的 变化 在 预定 义 的 边界 内 被 研究 。 一 个 典型 的 预定 义 的 以 边 
界 为 基础 的 系统 视图 构建 如 图 4.8 所 示 。 在 这 种 情况 下 ， 一 个 系统 的 边界 是 预定 
义 的 ， 所 以 学 习 是 以 预定 义 的 系统 边界 内 的 子 系统 结果 为 基础 的 。 


























预定 义 系统 边界 








| 


图 4.8 基于 预定 义 系统 边 界 的 系统 视图 建 





。 以 动态 边界 为 基础 的 系统 视图 构建 : 在 这 种 模型 中 ， 通 过 重复 分 析 来 完 
成 动态 边界 确定 。 数 据 在 各 层级 中 获取 。 

在 这 种 情况 下 ， 可 以 使 用 两 种 方法 : 第 一 种 是 以 参数 为 基础 的 方法 ， 在 这 里 
参数 间 的 相关 性 用 于 代表 它们 之 间 的 关系 ; 第 二 种 方法 是 ， 对 于 每 一 个 动作 追踪 
其 影响 结果 以 确定 有 效 的 系统 界限 。 
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例如 ， 在 一 个 公司 有 很 多 部 门 : 财务 部 、 工 程 部 、 研 发 部 和 生产 部 门 。 对 于 
SL， 有 必要 了 解 这 些 部 门 之 间 的 关系 。 要 了 解 这 些 关 系 ， 需 要 知道 合理 的 系统 
边界 。 一 个 典型 的 根据 合理 的 系统 边界 建立 系统 视图 的 例子 如 图 4.9 所 示 。 这 里 
SI 、S，,、5S3 为 子 系统 ， 而 p, 和 pp, 是 子 系统 S| 的 特定 问题 视角 ; ps 和 ps 是 子 系 
统 5, 的 特定 问题 视角 。 同 样 ，p; 和 pe 是 子 系统 5, 的 特定 问题 视角 。 整 体 背 景 
建立 如 图 4.9 所 示 的 。 














问题 和 环境 





决策 空间 


图 4.9 系统 的 透视 视图 


这 有 助 于 建立 一 个 系统 背景 视图 。“ 系统 背 景 视图 ” 指 的 是 在 系统 背景 中 理 
解 所 有 的 系统 参数 。 背 景 视图 是 指 参照 预定 义 背景 中 的 环境 去 处 理 系 统 间 的 联系 
和 关系 ， 以 及 参考 环境 中 定义 的 情况 下 系统 间 的 连接 和 关系 处 理 的 意见 。 这 个 概 
念 视 图 根据 可 见 的 决策 的 结果 和 影响 研究 内 部 边界 。 背 景 和 概念 视图 一 起 构建 起 














全 局 的 系统 视图 。 一 个 典型 的 概念 图 、 背 景 视图 ， 并 且 该 系统 视图 的 关系 如 图 
4. 10 所 示 。 

该 系统 视图 将 定义 : 

参数 集 {pl ，p,，…, p,| 


主要 参数 列表 : (gqg1, q2, ***, qm) 

主要 参数 集 是 参数 集 的 一 个 子 集 。 

不 同 参 数 之 间 的 关系 从 亲密 性 和 影响 力 两 方面 进行 定义 ， 参 数 的 重要 性 和 优 
先 级 根据 其 影响 而 定 ， 影 响 因 子 被 用 于 定义 影响 。 
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NA mo 











性 能 模式 和 关系 








图 4.10 系统 的 概念 和 环境 视图 


4.4 系统 交互 的 数学 表达 


需要 用 到 输入 和 结果 的 历史 数据 及 关于 其 交互 作用 的 背景 知识 。 从 系统 的 观 
点 来 说 ， 系 统 交 互 知识 的 表述 是 非常 重要 。 归 纳 学 习 是 用 例子 来 进行 学 习 。 基 于 
知识 的 归纳 学 习 试图 基于 先 验 知识 来 推断 关系 。 一 个 系统 包括 不 同 的 元 素 、 不 同 
的 层 以 及 这 些 层 和 元 素 之 间 的 关系 。 这 些 关 系 是 未 知 的 ， 但 可 以 基于 先 验 知识 来 
推断 或 确定 。 

下 面 考虑 一 个 系统 $S。 基 于 先 验 知识 ， 系 统 $ 由 个子 系 统 S1，S,，…，5, 
组 成 。 在 这 些 子 系统 中 ,假设 S$, 是 特定 决策 制定 情景 的 行为 空间 的 子 系统 。 

现在 ， 对 于 一 些 子 系统 ， 结 果 参 数 可 表示 为 1 =to。 

对 于 其 他 一 些 子 系统 ， 结 果 参 数 可 表示 为 :=t1 ， 依 此 类 推 。 

对 于 另外 的 一 些 子 系统 ， 没 有 任何 结果 参数 可 用 。 

依赖 关系 最 初 表 示 为 直接 连接 ， 历 史上 看 得 到 的 影响 (知识 ) 以 及 紧密 度 。 
超出 行为 空间 的 依赖 性 会 打折 扣 。 在 决策 制定 时 ， 参 数 之 间 的 相关 性 和 依赖 性 也 
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是 要 考虑 的 。 根 据 行 为 空间 构建 系统 矢量 。 
影响 因子 = (pl1/dal ) xy x 紧密 度 


决策 矩阵 的 元 素 计算 为 
ee * Pl + 模式 权重 
下 面 给 出 的 矩阵 表示 决策 矩阵 。 是 参数 的 数量 ， 而 n 是 子 系 统 的 
数量 。 
Di Di Da Se D1, 
D,1 Dy, Dy ee Dy 
Ds D3 D3 的 Ds 
Dn Dn Drs Dn 


当 利 用 已 经 了 解 到 的 事实 时 ， 系 统 学 习 利用 过 去 的 知识 来 确定 影响 因子 。 因 
为 行为 发 生 在 过 去 ， 以 前 的 ， 即 学 习 到 的 影响 因子 是 可 以 获取 的 。 在 新 行动 中 探 
索 确 定 影响 因子 。 有 趣 的 是 ， 探 索 和 开发 都 不 足以 确定 系统 间 的 关系 。 


4.5 影响 函数 


影响 函数 有 助 于 计算 环境 中 任何 决策 的 影响 。 对 于 任何 行为 ， 其 影响 不 仅 在 
系统 内 部 可 以 看 到 ， 而 且 在 环境 中 以 及 相 邻 系统 中 都 可 以 看 到 。 根 据 决 策 影响 分 
析 定 义 影响 函数 。 基 于 不 同 参 数 建立 起 的 影响 函数 是 动作 影响 的 近似 值 ， 其 有 助 
于 计算 影响 。 影 响 函 数 可 以 帮助 人 们 确定 特定 参数 上 任何 行为 的 影响 。 影 响 函 数 
一 般 来 自 于 影响 模型 。 


4.6 决策 影响 分 析 


基于 决策 的 任何 行为 的 影响 需要 根据 每 一 个 子 系统 确定 下 来 。 行 为 空间 是 执 
s 间 。 行为 空间 中 的 参数 其 折扣 因子 y 等 于 1。 对 于 行为 空间 中 的 每 个 
能 的 行为 ， 所 有 参数 的 影响 因子 都 会 被 计算 。 这 些 参数 用 矩阵 来 表示 。 
AS1 = 所 Ps ,Psp ,Psa ,Psi,) 
AS, =f( Ps ,Ps ,Ps ,Ps ) 
关于 行为 4， 所 有 有 关 影 响 的 参数 都 被 划分 了 优先 级 。 这 里 有 多 种 方法 来 分 
析 决 策 的 影响 ， 如 上 述 所 定义 的 ， 该 组 参数 内 的 任何 行为 的 影响 都 可 以 被 观察 、 
推断 或 基于 影响 函数 计算 出 来 。 影响 分 析 是 持续 的 ， 因 为 相同 行为 的 影响 可 能 
晚 些 时 候 才 会 被 观察 到 。 这 一 分 析 的 有 趣 部 分 是 行为 和 影响 的 映射 。 由 于 在 决策 
空间 有 许多 行为 发 生 ， 一 般 情 况 下 参数 的 测量 对 行为 到 影响 间 的 映射 有 持续 的 帮 
助 。 可 以 需要 知道 有 关 每 一 个 行为 的 影响 矩阵 。 
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例如 ， 在 所 观察 的 时 间 和 空间 中 ， 行为 {a ，o ,a3 | 发生。 因为 参数 在 空间 
和 时 间 边 界 内 得 到 一 个 决策 矩阵 。 这 一 系列 的 行为 和 矩阵 帮助 人 们 确定 特定 的 行 
为 和 其 影响 间 的 关系 。 这 些 都 有 助 于 为 行为 建立 决策 矩阵 。 决 策 和 矩阵 有 助 于 将 数 
据 转 化 为 系统 性 机 融 学 习 所 需要 的 信息 。 在 需要 的 信息 和 产生 或 可 获取 的 数据 间 
存在 着 信息 断层 。 在 某 些 情况 下 ， 可 用 的 数据 可 以 包括 所 需要 的 所 有 信息 ， 但 分 
离 有 用 的 信息 是 一 个 相当 复杂 的 任务 。 决策 影响 分 析 有 助 于 从 可 获取 数据 中 分 离 
所 需 信息 。 图 4. 11 描述 了 这 种 典型 方案 


AA 要 
中 O 搜寻 和 分 类 

dd 3 
已 结合 和 处 理 

获得 信息 需求 信息 


决策 影响 分 析 
图 4.11 决策 影响 分 析 


















































4.6.1 时 空 界限 


正如 前 面 所 讨论 的 ， 当 在 为 行为 做 影响 分 析 时 ， 时 空 界限 是 需要 被 考虑 的 。 
这 些 边界 定义 了 学 习 的 相关 极限 。 在 学 习 中 ， 考 虑 受 时 间 和 空间 所 限 的 所 有 相关 
参数 。 任 何 动作 在 这 些 参数 上 的 影响 都 不 一 致 ， 并 且 这 要 由 系统 视图 和 影响 分 析 
确定 。 图 4. 12 描述 了 利用 影响 分 析 检 测 时 空 界 限 的 过 程 。 
影响 因子 





空间 界限 > 








= 
= 而 T=# 下 b 
时 间 界 限 


图 4. 12 ”时间 和 空间 界限 图 
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图 4. 12 描述 了 时 空 界限 。 最 大 似 然 能 够 帮助 人 们 决定 影响 。 时 间 和 决策 空 
间 上 的 递增 有 助 于 为 决策 方案 识别 边界 。 一 个 系统 学 习 的 特殊 情况 是 空间 界限 和 
决策 界限 是 相同 的 ， 时 空 界限 为 人 们 建立 一 个 系统 视图 提供 了 帮助 ， 这 可 以 更 广 
泛 地 应 用 于 各 种 决策 制定 中 。 图 4. 13 描绘 了 一 个 基于 系统 界限 的 全 局 的 系统 学 
习 框 架 。 





























| 系统 分 析 
任务 和 系统 因素 | 
| 反馈 
E 景 感 知 和 决策 和 学 习 行为 和 影响 
i 当下 决策 情境 分 析 测量 

















局 部 因素 














目标 、 感 知 、 期 望 值 信息 分 析 











] 知识 库 和 培训 











图 4.13 系统 学 习 框架 


图 4. 14 描绘 了 环境 、 知 识 库 和 系统 学 习 之 间 的 关系 。 系 统 学 习 可 以 在 许多 
应 用 中 使 用 。 图 4. 14 还 描绘 了 系统 学 习 和 协作 学 习 在 各 种 应 用 中 的 作用 。 
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六 问题 域 和 应 用 


省 合作 性 决策 制定 | 
决策 制定 的 协 

作 性 和 系统 性 游戏 应 用 

方法 一 一 从 环 


现实 问题 中 的 应 用 
1. 分 布 式 汽车 管理 


3. 电力 分 配 管理 
4. 分 布 式 医疗 护理 
5. 空中 交通 控制 
6. 工厂 生产 




































© 
智能 决策 者 => 









































图 4.14 系统 学 习 和 应 用 





4.6.1.1 范例 一 一 项 目 管理 和 系统 视图 

系统 视图 对 于 学 习 和 决策 制定 是 非常 有 用 ， 但 是 它 在 动态 应 用 并 有 大 量 的 参 
数 的 情况 下 相关 性 更 大 。 项 目 或 项 目 中 要 素 的 一 部 分 有 任何 动作 都 有 可 能 在 其 他 
要 素 一 一 其 至 在 全 部 要 素 的 集成 中 产生 影响 一 一 并 且 它 有 可 能 间接 地 影响 到 影响 
的 最 终 传递 。 因 此 可 以 看 到 ， 在 特定 决策 空间 中 行为 或 决策 产生 的 影响 可 能 超出 了 
这 个 决策 空间 和 可 见 的 时 空 。 识 别 项 目 中 不 同系 统 和 子 系统 间 的 关系 和 依赖 性 有 助 
于 整体 学 习 。 进 一 步 了 解 在 时 空 上 行为 可 能 相当 大 的 影响 直到 项 目 结束 或 者 接受 下 
一 个 任务 ， 这 能 够 帮助 人 们 持续 监测 决策 并 保持 学 习 。 任 何 行动 的 奖励 以 各 种 系统 
参数 影响 的 形式 展现 ， 这 些 影响 和 时 空 上 的 系统 视图 使 系统 机 器 学 习 成 为 可 能 。 对 
于 项 目 管理 ， 图 4. 15 描绘 了 系统 学 习 框架 。 还 有 一 些 信息 源 ， 诸 如 ; 

想 要 获取 这 些 产品 的 顾客 ; 

相关 的 行业 ; 

先前 的 经 验 ; 

相似 产品 的 反馈 。 

而 且 还 有 一 些 参 数 ， 诸 如 

质量 ; 

时 间 表 ; 

活动 ; 

技能 ; 

开发 环境 ; 

工作 环境 。 
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行动 和 决策 行动 和 决策 行动 和 决策 


发 展 和 测试 安装 和 反馈 

















不 同 源 的 输入 








影响 分 析 和 学 习 

















决策 场景 








图 4.15 项 目 管理 中 的 系统 学 习 框 架 
对 于 每 一 个 行为 ， 影 响 分 析 和 关于 决策 方案 的 学 习 以 及 知识 库 允 许 人 们 使 决 
策 更 加 充实 。 决 策 是 在 参照 系统 和 时 间 边 界 的 情况 下 制定 的 。 而 时 间 和 系统 边界 
是 根据 行为 影响 分 析 确 定 的 。 类 似 的， 一 个 信息 安全 学 的 系统 整体 模型 如 图 
4. 16 所 示 。 
抽象 度 
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设计 框架 系统 模块 











环境 
地 理 /空间 和 时 间 约 束 
“系统 节点 ” 


理论 模型 到 















































物理 结构 | 处 理 -存储 交 田 二 
处 看 镑 诡 | 操作 性 || 行政 管理 || 法 律 ”|| 道德 
技术 方面 非 技术 方面 知识 /主题 范围 





图 4.16 信息 安全 学 的 详细 框架 和 方法 论 一 一 系统 整体 模型 
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系统 模型 发 展 ( 案例 学 习 ) 


系统 性 机 带 学 习 和 决策 制定 在 复杂 的 系统 和 不 同 子 系统 之 间 有 依赖 关系 时 是 
一 个 典型 的 研究 健康 诊断 系统 的 案例 。 


十 分 有 用 的 。 本 节 讨 论 





诊断 结果 来 自 于 不 


同 的 信息 源 ， 这 些 信 
实验 报告 ; 
心电图 报告 
生活 方式 相关 的 信息 ; 
遗传 倾向 ; 
特定 习惯 ; 
既往 病史 ; 

住 居 区 域 ; 

居住 区 域 的 地 理 特 性 ; 

以 往 的 治疗 和 药物 ; 

职 、 

有 很 多 这 样 的 信息 
可 以 帮助 诊断 。 第 一 0 
言 息 的 积累 和 优先 级 的 确 
立 。 每 个 信息 源 带 来 一 个 
矢量 ， 该 矢量 代表 了 相关 
性 和 影响 。 这 些 矢 量 伴随 
着 环境 结果 会 有 助 于 建立 

一 个 决策 和 矩阵 ， 这 一 决策 

和 矩阵 用 于 学 习 和 决策 制定 。 

每 追加 一 次 信息 输入 ， 该 

和 矩阵 就 会 被 修改 以 适应 系 

统 的 动态 变化 。 最 重要 的 

方面 是 理解 这 些 参数 之 间 

的 依赖 关系 。 依 据 单个 参 

数 的 学 习 不 能 得 到 全 局 的 


息 源 如 下 。 





体 
( 体 参 数 S1P1,S1Pz, S3P3…) 








诡 
( 族 参数 S2Pi1, S2P2, S3P3…) 





”环境 
(环境 参数 SsP1.SsP2z,SsPa…) 








图 4.17 





系统 范 马 











视图 。 例 如 ， 只 根据 血压 (BP) 和 血压 药品 的 剂量 来 进行 学 习 可 能 导致 许多 





副 


作用 。 所 有 相关 参数 的 统计 分 析 和 学 习 可 以 共同 帮助 形成 最 佳 的 解决 方案 ， 并 进 





一 步 了 解 任何 决策 的 影响 。 在 这 种 情况 下 ， 
它 可 以 定义 空间 边界 ， 但 是 
范围 如 图 4. 17 所 示 。 





该 系统 也 许 是 家 庭 甚或 封闭 的 环境 ， 
时 间 边 界 却 向 未 来 和 过 去 两 个 方向 进行 了 扩展 。 系 统 


图 4. 18 描述 了 为 医疗 诊断 系统 建立 系统 决策 矩阵 的 过 程 。 与 决策 问题 相关 
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的 观察 参数 去 限制 系统 边界 ， 这 是 通过 连续 依赖 性 分 析 和 决策 分 析 来 实现 的 。 所 
有 这 些 参数 都 进行 了 优先 级 划分 ， 并 且 这 些 参 数 间 的 关系 根据 决策 问题 来 表示 ， 
从 而 建立 起 一 个 系统 决策 矩阵 ， 进 而 寻找 最 优 决 策 。 
关于 系统 的 决策 空间 

决策 

参数 4 

















血压 测试 


尿 液 测试 
实验 报告 和 心电图 人 
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图 4.18 系统 决策 矩阵 的 建立 


4.7 小 结 


本 章 讨 论 了 系统 性 机 器 学 习 最 重要 的 一 方面 一 一 建立 模型 。 系 统 性 机 器 学 习 
模型 有 一 些 重要 的 组 成 部 分 ， 包 括 系统 边界 、 影 响 分 析 和 整体 系统 视图 。 在 一 个 
系统 学 习 模 型 中 ， Be hol dd 
息 ， 因 为 它 可 能 是 局 部 的 ， 可 能 含有 噪声 ， 并 且 还 可 能 包含 和 决策 方案 不 相关 的 
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信息 。 这 个 信息 和 系统 输入 、 模 型 、 可 行 性 、 影 响 及 可 能 性 一 并 被 用 于 建立 知 
识 。 这 些 知 识 和 决策 分 析 有 助 于 建立 综合 决策 方案 。 决 策 方 案 和 系统 信息 有 助 于 
检测 边界 。 得 益 于 整个 可 用 信息 ， 决 策 背 景 得 以 形成 ， 并 用 于 系统 机 器 学 习 和 决 
策 制定 。 该 模型 有 三 个 重要 部 分 : 知识 库 、 系 统 信息 、 影 响 以 及 相关 信息 。 学 习 
可 以 用 决策 矩阵 的 形式 来 表述 。 由 于 系统 学 习 需 要 一 直 持 续 下 去 ， 其 结果 和 参数 
在 每 个 时 间 步 长 的 变化 都 要 当 作 学 习 的 输入 。 该 过 程 是 自 适 应 的 。 

行为 参数 的 相关 性 基于 影响 分 析 确 定 。 系 统 学 习 需 要 了 解 任何 行为 的 影响 ， 
并 且 需 要 了 解 基于 决策 方案 的 不 同 的 参数 权重 。 所 有 这 些 概念 一 起 建立 起 整体 系 
统 视图 ， 它 可 以 更 好 地 了 解 学 习 ， 并 能 产生 更 好 地 决策 。 
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5.1 简介 


学 习 和 决策 过 程 基于 正确 的 选择 信息 和 有 效 地 使 用 可 用 的 信息 。 当 有 完整 的 
相关 信息 时 ， 学 习 并 没 那么 困难 。 但 在 之 前 的 内 容 中 讨论 过 ， 在 大 多 数 的 实际 应 
用 中 ， 只 有 有 限 的 信息 是 可 用 的 ， 而 且 相 关 性 不 确定 。 在 现实 生活 中 ， 很 多 时 候 
样本 空间 是 抽象 的 。 当 参数 空间 和 样本 空间 是 抽象 的 时 ， 为 了 有 效 学 习 需 要 系统 
推理 来 构建 知识 库 。 本 章 处 理 当 参 数 和 样本 空间 是 抽象 时 的 学 习 问 题 。 模 式 分 析 
和 统计 推理 的 结合 是 用 来 建立 系统 视图 和 可 用 参数 之 间 的 关联 。 大 多 数 标准 的 推 
理 和 数据 构建 的 方法 以 概率 计算 的 可 能 性 为 基础 。 最 大 似 然 估计 和 贝 叶 斯 推理 可 
用 于 以 最 大 似 然 为 基础 的 推理 。 从 系统 性 角度 来 看 ， 传 统 的 推理 方法 可 以 扩展 到 
抽象 的 空间 ， 甚 至 更 适合 于 抽象 空间 。 

在 现实 问题 的 情况 中 ， 局 部 的 和 异 构 的 信息 在 试图 整合 和 使 用 这 些 信息 时 带 
来 各 种 挑战 。 这 些 有 限 的 信息 通过 推理 可 以 用 来 有 效 地 确定 决策 的 背景 。 任 何 决 
策 的 制定 要 有 完整 的 决策 方案 信息 ， 很 少 能 得 到 决策 方案 的 所 有 信息 ， 其 至 在 很 
多 情况 下 现实 生活 中 的 方案 需要 处 理 大 量 的 未 知 信息 。 信 息 有 多 种 来 源 ， 可 以 提 
供 不 同 的 视角 ， 但 不 幸 的 是 建立 这 些 信 息 片 段 之 间 的 关系 是 一 项 艰巨 的 任务 。 在 
一 个 系统 的 系统 边界 内 有 许多 子 系统 ， 系 统 的 各 个 部 分 是 不 可 见 的 ， 所 以 很 有 必 
要 从 系统 中 提取 各 种 参数 以 产生 最 佳 结果 。 数 据 驱 动 的 推理 方法 包括 简单 的 方 
法 ,例如 插值 法 、 外 推 法 ,还 有 许多 以 统计 推理 为 基础 的 方法 。 这 些 方法 都 是 基 
于 相 邻 或 相近 的 数据 点 和 感知 不 同 的 数据 点 之 间 的 关系 的 。 对 于 更 大 的 系统 、 未 
知事 件 和 抽象 的 空间 推理 变 得 更 加 重要 。 一 般 情况 下 ,统计 推 断 机 制 被 用 于 全 部 
以 数据 为 中 心 和 以 模式 为 基础 的 状况 下 的 问题 。 推 理 和 可 用 的 数据 可 以 用 来 确定 
系统 的 整体 画面 并 生成 一 个 系统 视图 ， 在 这 个 过 程 中 ,需要 频繁 的 数据 和 信息 
集成 。 

本 章 将 讨论 用 于 推理 和 信息 集成 的 各 种 方法 。 在 本 章 将 尝试 讨论 决策 制定 的 
男 外 一 些 方 面 ， 即 来 自 多 个 来 源 的 数据 融合 和 协同 推理 。 协 同 推理 是 指 基于 不 同 
来 源 数据 的 推论 。 此 外 ， 协 同 推理 是 一 种 工具 ， 可 以 通过 用 数学 理想 化 去 逼近 在 
多 变量 、 复 杂 情 境 下 的 明显 现象 来 建立 系统 视图 。 

用 于 推理 的 各 种 统计 方法 、 基 于 规则 的 技巧 和 基于 模式 的 技巧 也 在 本 章 中 详 
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细 讨 论 。 确 定性 和 非 确定 性 模型 被 用 于 推理 ， 推 理 机 制 需要 考虑 数据 、 实 例 时 
间 、 相 关 性 和 背景 。 此 外 ， 这 些 可 以 为 下 一 个 级 别 的 推理 构建 背景 。 连 续 推 理 和 
使 用 推断 的 信息 可 以 帮助 建立 一 个 更 好 的 系统 视图 。 当 底层 分 布 未 知 时 它 实际 上 
是 非 参 数 的 。 时 间 是 系统 性 学 习 的 另 一 个 重要 方面 。 由 于 因果 关系 可 能 在 时 间 和 
空间 上 分 开 ， 因 此 在 比较 和 久 的 将 来 需要 推断 可 能 的 数据 。 本 章 将 讨论 推理 方法 和 
推理 机 制 在 系统 背景 中 的 使 用 。 

言 息 集成 有 时 也 被 称 为 信息 融合 ， 合 并 来 自 不 同 信息 源 ， 有 不 同 概念 、 情 景 
和 书面 陈述 的 信息 。 形 式 相关 性 和 数据 背景 可 能 有 所 不 同 。 数 据 融 合 中 出 现 的 主 
要 问题 是 来 自 不 同 背 景 的 各 种 各 样 的 和 不 确定 的 信息 ， 而 背景 需要 与 特定 决策 方 
案 结 合 。 数 据 融 合 使 用 参数 模型 ， 以 防 动态 方案 中 由 于 参数 和 未 知 时 间 实 例 突变 
出 现 问题 。 因 为 在 所 有 的 真实 系统 中 ， 数 据 来 自 非 结 构 化 或 半 结 构 式 资源 ， 所 以 
需要 某 种 形式 的 整合 。 

可 用 的 集成 信息 技术 包括 字符 串 参 数 ， 人 允许 用 模糊 匹配 的 方法 检测 在 不 同 数 
据 源 的 相似 的 文本 。 统 计 方法 如 贝 叶 斯 方法 和 马尔 科 夫 链 蒙 特 卡 洛 ( MCMC) 方 
法 可 以 用 于 信息 集成 。 

本 章 的 重点 是 参数 和 非 参 数 推理 技巧 、 协 同 推理 和 数据 融合 。 整 个 系统 视图 
的 建立 就 像 通过 可 用 支离破碎 的 事实 建立 全 狐 。 这 就 像 一 个 联邦 调查 局 特工 基于 
不 同 来 源 和 目击 者 的 报告 和 调查 情况 ,借助 于 以 往 经 验 、 协 同 推 理 和 数据 融合 ， 
试图 建立 一 个 完整 的 案件 。 每 一 刻 都 有 新 信息 出 现 ， 新 的 事实 透露 。 这 可 以 给 学 
习 和 决策 新 的 维度 。 

统计 学 家 基于 复杂 性 程度 来 区 分 各 种 建 模 假设 

。 全 参数 : 描述 数据 生成 的 概率 分 布 过 程 被 认为 是 具有 有 限 个 未 知 参 数 的 
一 个 族 概率 分 布 所 全 面 描述 。 

。 非 参数 : 在 这 种 情况 下 做 出 的 假设 是 参数 的 数量 和 性 质 是 灵活 易 变 的 。 

。 半 参 数 : 这 个 术语 通常 完全 地 意味 着 假设 介 于 “全 参数 ”和 非 参数 方法 
之 间 。 
推理 使 处 理 信 息 断 层 成 为 事实 ， 并 为 决策 和 学 习 建 立 整体 情景 。 







































































5.2 推理 机 制 和 需要 


推理 是 一 个 基于 可 用 的 事实 和 确定 事件 发 生 的 概率 得 出 结论 的 过 程 ， 在 逻辑 
上 并 不 能 确定 能 否 从 假定 前 提 中 推导 出 来 。 既 然 在 实际 生活 中 有 这 么 多 不 确定 的 
方案 ， 而 且 在 每 一 刻 都 有 这 么 多 可 用 的 信息 ， 所 以 绝对 有 必要 提出 一 种 推理 方法 
来 帮助 人 们 做 最 好 的 选择 。 更 多 的 信息 和 更 好 的 机 制 来 建立 环境 对 形成 一 个 更 好 
的 推理 是 有 帮助 的 。 多 级 推理 对 慢 慢 地 确定 最 后 的 决策 是 有 帮助 的 。 另 一 个 最 重 
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要 的 部 分 是 基于 多 数据 源 和 推理 机 制 的 协同 推理 。 

这 里 有 很 多 推理 方法 。 其 中 ,许多 通用 的 方法 是 基于 概率 推理 。 在 参数 统计 
推理 里 ， 数 据 来 自 某 种 类 型 的 概率 分 布 ， 而 且 这 些 数据 被 用 来 做 一 个 关于 参数 的 
推测 。 无 参数 统计 推断 不 依赖 属于 某 个 特定 的 分 布 的 数据 。 在 这 种 情况 下 ， 这 种 
推理 是 独立 于 参数 化 的 分 布 。 这 种 模型 的 结构 是 动态 的 而 不 是 固定 的 。 另 外 的 非 
常 通用 的 概念 是 传递 性 推理 。 

传递 性 推理 使 用 之 前 刺激 之 间 的 训练 关系 来 确定 未 来 或 在 不 同时 期 的 实例 呈 
现 的 刺激 之 间 的 关系 。 传 递 性 推理 是 对 一 个 新 颖 的 方案 产生 一 个 适当 的 反应 ， 而 
且 是 在 没有 这 个 方案 精确 的 经 验 的 条 件 下 。 它 过 渡 性 的 有 效 地 利用 过 去 的 训练 
关系 。 

刺激 是 指环 境 中 影响 行为 的 事件 。 单 个 的 刺激 可 以 对 不 同 的 方程 产生 作用 。 
根据 参考 文献 [1 -3] ， 传 递 性 推理 是 基于 演绎 推理 的 ， 因 为 有 必要 推断 或 确定 
没有 明确 提出 的 刺激 间 的 关系 。 从 单一 的 观察 也 可 能 有 很 多 推论 。 
推理 并 不 仅仅 遵循 现 有 的 数据 或 图 像 。 而 是 人 (或 机 器 ) 超越 现 有 的 可 用 
的 证 据 来 形成 结论 。 人 类 经 常 使 用 这 个 技巧 。 比 如 在 犯罪 调查 时 ， 侦 探 多 次 超越 
现 有 可 用 的 证 据 。 用 演绎 推理 ,结论 往往 遵循 规定 的 前 提 。 即 使 诊断 疾病 的 病 
人 ， 医生 也 能 超出 测试 报告 提供 的 证 据 而 形成 诊断 结论 。 演 绎 是 一 个 更 符合 逻辑 
的 推理 机 制 ， 而 且 从 复杂 和 不 完整 输入 中 进行 的 机 带 学 习 是 非常 重要 的 。 演 绎 推 
理 跟 传递 性 推理 一 样 ， 需 要 建立 整体 的 环境 。 推 理 是 连续 的 ， 在 每 阶 的 新 参数 、 
信息 和 数据 会 被 用 来 推断 ， 而 且 会 被 用 到 下 一 级 的 推断 和 人 迭代。 在 很 多 情况 下 使 
用 和 迭代 推理 。 和 迭代 推理 一 般 是 间接 的 ， 因 此 依赖 于 不 同 来 源 的 信息 。 因 此 最 重要 
的 一 个 方面 是 协同 推理 。 协 同 推理 是 以 协作 为 基础 的 ， 即 高 效 和 合理 地 利用 不 同 
来 源 的 可 用 信息 。 

最 常见 的 一 种 推理 机 制 是 统计 推理 。 统 计 推 理 是 从 数据 及 其 变化 做 出 决定 或 
者 得 出 结论 的 过 程 。 这 里 有 随机 变化 的 数据 。 这 些 数据 可 以 是 系统 的 异常 现象 、 
系统 性 能 及 行为 的 变化 。 统 计 推 新 和 基础 程序 可 以 被 用 来 得 出 结论 ， 并 依据 受 随 
机 变量 影响 的 系统 产生 的 数据 集 推导 结论 。 由 于 具有 多 个 数据 包 和 不 同 格式 的 可 
用 数据 ， 并 且 还 是 从 不 同 的 角度 收集 的 ， 所 以 需要 数据 推理 。 在 这 样 的 情况 下 ， 
可 以 选用 统计 推理 。 对 于 这 样 的 推理 和 归纳 的 程序 系统 的 初始 条 件 是 当 应 用 于 定 
义 明确 的 方案 时 系统 应 产生 合理 的 答案 ， 而 且 它 应 该 足够 通用 ， 以 至 于 可 以 在 一 
系列 的 情况 下 使 用 。 

图 5. 1 描述 了 在 一 个 典型 的 机 器 学 习 的 专家 系统 里 推理 引擎 的 重要 性 。 在 这 
里 输出 是 知识 的 构建 和 学 习 。 推 理 引 擎 接受 方案 决策 形式 的 外 部 输入 ， 也 与 现 有 
的 基础 知识 相互 作用 ， 另 外 它 建立 并 加 强 了 知识 库 。 方 案 决 策 和 知识 基础 有 利于 
建立 知识 和 推理 出 新 的 信息 ， 使 得 合理 的 学 习 成 为 可 能 。 
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图 $.1 推理 在 学 习 和 知识 建立 中 的 角色 























5.2.1 情景 推理 


情景 是 正在 执行 行动 、 决 定 或 关系 的 方案 或 环境 。 要 确定 决策 制定 的 情景 ， 
需要 情景 推理 。 在 不 同 的 情景 中 ， 同 样 的 决策 方案 可 能 导致 不 同 的 决策 。 情 景 推 
理 是 指 推断 系统 参数 去 为 决策 制定 构建 情景 的 过 程 ， 因 此 情景 推理 是 指 在 基于 来 
自 多 个 输入 数据 源 的 数据 、 现 有 的 知识 库 和 系统 信息 推断 总 体 决 策 情景 的 过 程 。 
确定 情景 层次 结构 ， 共 享 相关 信息 ， 并 使 用 合适 的 算法 来 推断 总 体系 纪 情景 是 需 
要 面临 的 挑战 。 

图 $. 2 描述 了 情景 构建 的 过 程 。 数 据 推理 更 具 统计 性 ， 而 情景 构建 推理 使 用 
来 自 多 个 来 源 的 信息 的 协同 推理 机 制 。 决 策 数据 和 可 用 信息 是 可 预 处 理 的 。 特 
征 、 参 数 设置 以 及 它们 之 间 的 映射 有 助 于 优先 特征 ， 其 中 特征 、 参 数 、 它 们 之 间 
的 映射 及 优先 级 可 以 帮助 建立 一 个 推理 模型 并 形成 规则 ， 这 使 得 基于 情景 的 学 习 
成 为 可 能 。 
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图 5.2 情景 学 习 的 推理 方法 


5.2.2 推理 确定 影响 


在 前 面 的 内 容 中 已 经 讨论 过 ， 对 于 系统 性 机 咒 学 习 ， 理 解 关 于 一 个 系统 的 行 
为 影响 是 非常 重要 的 。 此 外 ， 了 解 系统 的 边界 和 相互 关系 有 助 于 理解 这 种 影响 。 
系统 性 的 学 习 最 重要 的 一 个 方面 是 建立 时 间 与 空间 分 离 的 因果 关系 。 传 统 机 器 学 
习 是 依赖 直接 或 根据 任意 行为 可 直接 推导 的 相关 数据 ， 这 并 不 意味 着 系统 机 器 学 
习 可 以 忽视 行为 的 直接 和 即时 的 影响 。 对 于 任何 行为 ， 可 以 观察 到 有 两 种 类 型 的 
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影响 ，@D 直 接 和 可 见 的 或 者 说 是 直接 可 推测 的 影响 ，@@ 间 接 的 推断 的 影响 。 
推理 可 用 于 确定 这 两 种 影响 ， 也 可 以 被 赋予 权重 选择 正确 的 或 最 合适 的 行 
动 。 在 随后 的 内 容 中 ， 将 更 详细 地 讨论 统计 和 贝 叶 斯 推理 及 如 何 使 用 它 来 构建 一 
个 系统 视图 。 图 5. 3 描述 了 基于 协作 和 情景 推理 来 确定 影响 的 框架 。 



































信息 集成 
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创建 上 下 文 





推理 引擎 


图 5.3 学 习 体 系 结构 





如 图 5.3 所 示 ， 基 于 行为 ， 结 果 和 数据 的 推理 被 用 来 建立 一 个 知识 库 。 信 息 
集成 、 环 境 建设 和 学 习 与 决策 者 关联 。 这 个 知识 库 与 越 来 越 多 的 输入 和 传递 以 及 
对 于 任何 决定 方案 的 演绎 推理 构建 了 背景 。 其 他 基于 知识 的 推理 包括 : 

。 衔接 ; 

e 对 比 ; 

。 理解 新 表达 。 

这 里 衔接 指 的 是 用 统计 技巧 或 利用 从 其 他 来 源 的 可 用 信息 的 帮助 来 弥合 信息 
差距 。 新 表达 式 的 对 比 和 理解 有 助 于 适应 新 的 信息 并 建立 相关 的 信息 。 基 于 知识 
的 协同 推理 从 各 种 来 源 获取 知识 。 逻 辑 和 关系 学 习 构 建 了 协作 型 机 器 学 习 的 基 
础 。 图 5.4 描述 了 推理 和 知识 库 之 间 的 关系 。 来 自 多 个 信息 源 II 、IS2 、IS3 和 
IS4 的 信息 通过 来 自 知识 库 的 输入 推断 事实 。 推 理 为 构建 知识 库 提 供 了 输入 ， 下 
如 前 面 所 讨论 的 美国 联邦 调查 局 的 例子 ，IS1 的 信息 来 自 医 生 和 调查 ,而 IS2 信 
息 来 自 目击 者 ，IS3 信息 来 自 其 他 证 人 ，IS4 是 可 以 从 犯罪 现场 获得 的 信息 等 。 
可 以 使 用 来 自 所 有 来 源 的 信息 进行 协同 推理 ， 当 这 样 做 时 过 去 构建 的 和 现 有 的 知 
识 被 用 于 构建 完整 的 犯罪 情景 ,这 有 助 于 学 习 和 决策 制定 。 

图 5.5 描述 了 情景 推理 框架 。 输 入 来 自 于 不 同 来 源 的 原始 数据 ， 这 些 数 据 在 
形式 上 是 异 构 的 也 是 不 完整 的 。 统 计 推 理 可 以 用 来 把 这 些 数据 运行 于 下 一 个 级 
别 。 情 景 推理 需要 从 决策 方案 和 这 些 数据 获得 输入 去 构建 整体 背景 。 












































第 5 章 推理 和 信息 集成 ”87 








ORE 
| 





基础 知识 




















图 $.4 知识 和 推理 的 关系 
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情景 推理 和 | 
收集 来 自 情景 最 
越 多 的 信息 可 以 
个 情景 数据 。 
静态 情景 数据 使 
定 。 对 分 布 式 情 








发 现 情景 来 源 。 
射 。 系 统 和 子 系 
言 息 中 提取 系统 : 


协同 推理 和 
关系 允许 协同 推 

















图 5.5 情景 推理 框架 











情景 的 访问 控制 是 确定 背景 的 两 个 重要 方面 。 情 
相关 来 源 的 信息 。 最 初 这 些 来 源 是 基于 直接 推 


使 用 ， 高 级 的 推理 规则 便 被 用 来 确定 情 和 
静态 情 





一 般 来 说 ， 情 景 数据 有 两 种 类 型 . 





用 简单 的 基于 规则 的 推理 确定 ， 而 动态 情 二 


景 管理 ， 需 要 基于 有 限 的 信 |, 





统 的 行为 模式 也 用 于 推理 





推理 也 考虑 偏好 分 析 和 基于 历史 情 
。 情景 推理 是 从 原始 局 部 情 





景 来 源 。 








景 推 











景 来 源 管理 试图 
4 但 随 着 越 来 





情景 建 模 反映 整 
景 数 据 和 动态 情景 数据 。 
景 数据 通过 动态 推理 确 
息 的 分 布 式 推理 。 
动态 推理 是 基于 时 间 的 ， 因 此 考虑 将 时 间作 为 管理 参数 。 情 
理 及 不 同 参数 之 间 的 映 





景 来 源 管理 包括 











竹 或 高 标准 的 情景 。 情 景 推理 需要 动态 推理 和 人 情 ! 
习 (CIR) ， 这 些 推理 机 制 建立 一 个 情景 联系 的 平台 








协作 情 景 推理 基于 各 种 来 源 的 信息 、 
景 推 





理 建 立 系统 整体 水 平 或 高 层 情 上 





理 。 





景 推 





景 和 参数 化 
理 规则 的 学 


系统 和 子 系统 。 它 们 之 间 的 
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图 5.6 描述 了 一 个 典型 的 协同 
推理 。 情 景 来 源 、 来 自 各 种 来 源 的 
膏 息 以 及 对 不 同 信息 源 的 协同 作用 信息 来 源 但 县 米汤? 
机 制 允许 建立 整体 情景 。 有 多 级 的 
推理 可 能 ， 一 般 任何 层级 的 推理 允 
许 采用 更 低 一 级 的 推理 到 基于 新 的 
可 用 信息 下 一 个 级 别 的 推理 中 。 协 
同 推理 经 过 多 次 类 代 ， 新 的 推理 改 
变 信息 和 现 有 信息 的 相关 性 ， 这 进 
一 步 帮助 在 更 广泛 的 背景 下 的 推理 。 

高 层 情景 推理 是 以 系统 为 中 心 
的 ， 这 导致 了 不 同 层次 的 推理 机 制 。 
情景 和 推理 的 集成 构建 了 一 个 系统 
视图 ， 在 5.3 节 中 ， 将 讨论 情景 
推理 的 集成 。 


5.3 情景 和 推理 的 集成 












































图 5.6 协同 推理 








情景 和 推理 的 集成 可 以 获得 最 佳 的 决策 。 集 成 系统 不 一 定 表 现 出 与 系统 中 每 
个 组 件 的 推断 模型 所 规定 的 相同 的 行为 。 集 成 模型 应 确定 系统 边界 和 任何 行为 可 
能 造成 的 影响 ， 需 要 多 个 传感器 和 决策 元 件 去 推测 情景 。 在 这 里 ， 认 为 它们 是 信 
息 的 来 源 ， 低 水 平 的 直接 推断 可 以 转换 成 较 高 水 平 的 体系 推断 ， 这 被 称 为 情景 推 
断 。 需 要 用 到 的 技术 包括 

。 用 户 和 决策 方案 驱动 的 推理 ; 

。 概率 和 统计 推理 ; 

。 基于 规则 的 推理 ; 

。 时 序 逻 辑 推 理 。 

总 体 上 的 决策 矩阵 和 决策 可 能 会 随 基于 新 的 情景 维度 增加 的 推断 而 改变 。 随 
着 每 一 个 新 的 信息 、 数 据 和 推断 事实 的 改变 ， 整 体 情 景 可 能 会 改变 。 在 动态 环境 
中 参数 是 变化 的 。 新 的 情景 可 以 基于 现 有 情景 按照 新 信息 或 者 新 推断 事实 推断 出 
来 。 在 一 些 情况 下 ， 也 可 以 使 用 静态 规则 。 如 果 一 些 更 高 层级 的 情景 是 受 限 的 ， 
那么 基于 规则 的 方法 也 可 以 优先 选择 ， 因 为 它们 的 复杂 性 处 于 一 个 比较 低 的 
水 平 。 

情景 涉及 不 只 是 可 见 的 特性 ， 例 如 位 置 。 情 景 是 可 以 描述 周围 环境 的 所 有 一 
切 ， 例 如 员工 ， 他 们 有 他 们 的 爱好 、 优 点 、 朋 友 、 居 住地 等 。 实 际 上 ， 一 切 有 助 
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于 直接 或 者 间接 描述 的 用 户 都 是 情景 。 数 据 、 参 数 和 描述 决策 方案 与 决策 方案 中 
的 参与 者 之 间 的 映射 一 起 形成 了 决策 情景 。 许 多 决策 和 决策 者 可 以 从 整体 情景 

获 益 ， 整 体 情景 包含 了 可 见 信息 以 外 的 信息 。 每 一 个 额外 的 参数 和 新 的 可 用 真实 
言 息 都 可 以 帮助 构建 情景 。 为 了 有 效 地 使 这 个 信息 参与 系统 ， 需 要 推理 和 情景 
推理 。 

下 面 举 一 个 卫生 保健 系统 的 例子 ， 这 个 系统 有 许多 输入 的 信息 ， 包 括 病人 的 
健康 参数 、 经 历 和 各 种 测试 结果 。 现 在 ， 关 于 健康 他 有 一 个 特定 的 控诉 。 这 里 有 
许多 可 用 参数 ， 但 是 有 几 个 参数 遗漏 了 。 基 于 这 些 所 有 的 信息 ， 推 理 被 用 来 为 特 
定 的 决策 方案 建立 完整 的 信息 ， 这 些 完整 的 信息 和 决策 方案 为 学 习 构 建 了 情景 。 
使 用 所 有 信息 建立 情景 的 过 程 被 称 为 情景 推理 。 

如 前 面 所 讨论 的 ， 人 情景 推理 是 从 原始 数据 内 容 建 立 高 层级 情景 信息 。 情 景 的 
建立 是 基于 映射 或 者 基于 为 构建 情景 以 算法 为 基础 的 情景 推理 规则 的 学 习 。 这 里 
使 用 了 情景 关联 和 模式 提取 /匹配 等 方法 ， 以 及 源 于 协作 和 群体 知识 中 的 情景 推 
理 规 则 的 学 习 。 

涉及 决策 方案 的 情景 管理 ， 也 就 是 说 ， 优 先 级 和 权重 分 析 ， 优 先 级 评价 和 参 
照 环境 条 件 监测 的 持续 优先 级 评价 可 以 帮助 构建 情景 。 情 景 推 理 包 括 基 于 知识 的 
情景 推理 和 基于 历史 的 情景 推理 ， 情 景 的 拓展 被 用 于 确定 和 处 理 复 杂 的 情况 。 群 
体 或 协作 的 情景 确定 可 以 根据 多 个 可 用 的 情景 建立 系统 情景 。 

图 5.7 描述 了 一 个 学 习 者 利用 决策 方案 建立 情景 的 情景 建立 过 程 ， 而 且 这 个 
情景 也 被 用 于 作出 决策 。 

图 5.8 表述 了 各 种 层级 的 推理 机 制 ， 分 别 如 下 : 

来 自 不 同 信息 来 源 和 环境 的 输入 
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决策 场景 和 环境 信息 提取 、 捕 提 和 筛选 
| | 
情景 推理 算法 一 > 情景 推理 
情景 
决策 推理 算法 一 决策 推理 
决策 系统 推理 算法 一 > 系统 推理 


























图 5.7 建立 情景 图 5.8 情景 和 系统 推理 
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。 数据 推理 ; 

。 情景 推理 ; 

。 决策 推理 ; 

。 系统 推理 。 

数据 推理 被 直接 用 于 提取 推理 。 情 景 推理 在 本 质 上 是 更 具 协 作 性 的 ， 使 用 从 
不 同 来 源 得 到 的 数据 ， 并 以 此 为 基础 建立 情景 。 决 策 推理 使 用 特定 决策 的 信息 和 
与 决策 方案 相关 的 参数 ， 这 里 的 推理 是 依据 决策 方案 的 。 决 策 情 景 被 用 于 决策 推 
理 ， 系 统 推理 是 根据 系统 情景 做 的 推理 ,决策 推理 和 情景 推理 用 于 系统 推理 ， 简 
单 的 静态 推理 算法 被 用 于 数据 推理 。 情 景 推理 使 用 融合 的 推理 算法 ,决策 推理 使 
用 决策 推理 算法 ， 而 且 为 了 系统 推理 需要 使 用 系统 推理 算法 、 协 作 推理 和 系统 参 
数 。 系 统 推 理 是 一 种 融合 的 情景 ， 情 景 的 融合 和 情景 推理 被 用 于 建立 整体 情景 。 

D 代表 一 个 系统 的 决策 参数 集合 ， 决 策 参数 是 在 决策 制定 中 起 作用 的 参数 ， 

D= dd dd 

对 于 任意 两 个 数据 参数 ， 相 似 性 指数 可 以 利用 简单 似 然 技 术 来 计算 。 相 似 性 
旨 数 有 利于 信息 集成 。 取 表示 第 :个 属性 的 权重 。 信 息 的 提取 和 编译 中 包括 不 同 
来 源 的 信息 。 

S1，S,，S3，…， 和 5, 是 信息 源 。 

不 同 的 信息 源 赋予 参数 集 的 一 个 子 集 。 决 策 参数 是 决策 相关 的 属性 的 子 集 : 

DeAd 

式 中 A4 一 一 所 有 属性 的 集合 ， 所 有 属性 可 能 并 不 明确 。 

决策 属性 参照 决策 方案 进行 优先 。 

言 息 来 源 5, 给 一 组 决策 属性 值 SD ， 而 信息 来 源 5, 给 一 组 决定 属性 值 
SD, 等 。 

所 需 的 “决策 属性 ”和 协同 可 用 的 属性 之 间 的 相似 性 是 可 以 计算 的 ， 这 些 
决策 属性 是 在 不 同 的 信息 源 中 可 利用 的 。 决 策 属性 所 选 的 集 是 可 用 属性 的 一 个 子 
集 ， 它 用 于 推断 出 完整 的 属性 : 













































































》 (Ww, x 紧密 度 (SD ,DA) ) 
_ i=0 


SP 加 n 
> 了 
人 





了 


式 中 ”到 一 一 第 ;个 属性 的 权重 ; 
紧密 度 一 一 相似 性 与 可 用 属性 (SD) 和 与 所 需 属 性 (DA) 之 间 的 紧密 度 。 
这 个 紧密 度 有 助 于 为 决策 选择 决策 属性 ， 这 导向 了 一 组 决策 和 学 习 属 性 的 值 
集 ， 这 些 属 性 用 来 构建 情景 。 图 5.9 描述 了 情景 集成 的 过 程 和 学 习 的 使 用 。 
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学 习 和 制定 决策 


综合 的 情景 发 生 器 情景 推理 











情景 分 析 器 情景 知识 库 (情景 基础 知识 ) 








图 5.9 情景 集成 


5.4 统计 推理 和 归纳 











统计 推理 是 基于 数据 的 推论 或 结论 。 在 不 同 的 情景 中 推理 是 期 望 获 得 的 。 统 
计 推 理 有 参数 、 半 参数 和 非 参数 统计 推理 模型 。 在 参数 的 模型 中 认为 数据 生成 过 
程 是 有 限 的 未 知 参 数 。 在 一 个 非 参数 过 程 中 ， 参 数 的 数量 和 参数 性 质 是 灵活 的 。 

最 常用 的 统计 推理 的 机 制 之 一 是 似 然 性 技术 。 另 一 个 常用 的 推理 方法 是 点 佑 
计 ， 点 估计 对 缺失 值 提出 一 个 合理 的 猜测 。 在 某 些 情 况 下 ， 直 接 推 理 很 有 用 ， 因 
此 这 个 方法 很 好 。 


5.4.1 直接 推理 


直接 推理 提供 了 一 个 在 个 人 判断 与 关于 客观 概率 的 有 用 信息 之 间 的 联系 ， 这 
些 都 是 基于 可 计算 的 数学 概率 。 


5.4.2 间接 推理 


间接 推理 是 一 个 基于 实验 、 基 于 仿真 或 基于 结果 的 方法 来 估算 或 推论 参数 
的 。 在 估计 模型 中 对 于 似 然 函 数 已 知 的 情况 下 是 最 为 有 效 的 ， 这 些 参数 本 身 就 可 
以 估计 用 来 观测 数据 或 模拟 数据 。 间 接 推 理 选择 底层 模型 的 参数 。 


5.4.3 信息 推理 
除了 数学 似 然 法 的 基于 信息 的 大 量 数据 称 为 信息 推理 。 
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5.4.4 归纳 


归纳 指 的 是 狂 测 或 逻辑 上 确定 源 于 受 限 观察 和 异 构 源 的 不 完整 数据 的 真实 潜 
在 的 状态 。 贝 叶 斯 推理 和 似 然 的 推理 技术 可 以 用 来 推断 底层 结构 和 基于 一 些 受 限 
信息 及 部 分 可 用 图 像 的 关系 。 按 照 Karl Pearson 所 述 (1920)， 归 纳 是 指 在 随后 
的 样品 中 通过 一 致 性 和 典型 性 假设 的 评估 结果 [4] 。 
































5.5 纯 似 然 方法 


纯 似 然 方法 给 出 了 统计 推理 过 程 ， 这 里 可 以 表示 状态 说 明 的 证 据 结果 的 收集 
是 完全 基于 似 然 函 数 的 。 似 然 性 表示 了 在 考虑 之 中 的 各 种 可 能 性 中 的 高 发 概率 和 
参数 选择 的 自然 现象 ， 这 意味 着 该 方法 满足 强 似 然 原则 。 在 某 种 意义 上 似 然 卫 数 
是 决策 的 核心 并 给 出 了 统计 学 证 据 的 证 明 方法 。 其 至 在 信和 度 状 态 中 使 用 条 件 原则 
可 以 表示 不 确定 性 。 

结果 的 值 ， 记 为 X， 服 从 于 未 知 参 数 4， 这 依赖 于 底层 模型 。 参 数 估计 是 通 
过 定义 一 个 基于 领域 知识 模型 和 约束 条 件 ， 然 后 求解 最 可 能 的 参数 模型 的 值 。 给 
出 观测 数据 和 兴趣 模型 ， 然 后 找到 最 合适 的 概率 分 布 密度 函数 ， 这 将 最 有 可 能 7 
生 观 测 数据 。 基 于 此 目的 似 然 函 数 记 为 

L(wly) = f(y| w) 

式 中 Z (oly) 一 一 由 观测 到 的 y 给 出 参数 w 的 似 然 估计 。 

由 观测 处 的 数据 和 似 然 函 数 ， 就 有 可 能 得 到 统计 学 推论 。Fisheri5l 给 出 了 最 
大 似 然 估计 。 期 望 概率 函数 是 观测 到 的 数据 的 可 能 值 。 简 言 之 ， 这 意味 着 由 参数 
向 量 的 值 和 最 大 似 然 函 数 L(w 1 y) 得 到 概率 函数 。 

还 观测 到 了 各 参数 的 值 。 关 于 选择 性 决策 方案 观测 到 的 给 定数 据 的 似 然 值 是 
可 以 计算 出 的 。 假 设 参 数 记 为 p， 则 已 知 数 的 观测 概率 lik(p) 可 看 作 p 的 一 个 
函数 

















所 xi ?MX2 Nn | p) 
因此 似 然 值 可 以 表示 为 


lik(p) = [fx p) 
| 


P 的 最 大 似 然 估 计 是 p 的 观测 值 最 有 可 能 的 结果 ， 同 时 也 存在 被 观察 的 系统 
行为 和 参数 与 期 望 行为 截然 相反 的 情况 。 系 统 中 ， 任 何 变化 的 可 能 影响 因素 都 决 
定 了 系统 和 子 系统 之 间 联 系 的 紧密 度 。 

似 然 法 是 关于 证 据 收 集 、 信 和 度 状 态 和 不 确定 的 信和 度 参 数 的 进一步 计算 的 
应 用 。 
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5.6 ” 贝 叶 斯 范例 推理 





























贝 叶 斯 范例 推理 是 基于 条 件 概 率 及 贝 叶 斯 定理 的 。 
5.6.1 贝 叶 斯 定理 








最 好 或 者 首选 的 模型 是 所 得 数据 与 所 观察 的 数据 相似 概率 最 大 化 的 模型 。 贝 
叶 斯 的 推理 方法 就 给 出 了 条 件 概率 Pr (2Z10) ， 因 此 在 已 知 所 观测 数据 的 情况 下 ， 
贝 叶 斯 定理 有 助 于 在 给 出 观测 数据 后 表示 已 更 新 数据 b。 

若 已 知 先 验 分 布 ， 则 可 以 由 贝 叶 斯 定理 求 得 后 验 分 布 ， 用 pr 表示 先 验 分 布 
po 表示 后 验 分 布 : 









































Ji 
p(pr) 
式 中 
p(pr) = Jr poyp(Cpojdpo 
且 


plprl po) = [1px;! po) 

后 验 分 布 可 以 用 来 估计 po。 

上 述 推理 方法 是 求 得 最 大 概率 的 标准 方法 ， 而 标准 概率 方法 的 重复 使 用 使 得 
可 以 决定 一 个 系统 里 参数 的 权重 ， 从 而 有 助 于 决定 系统 的 边界 。 

所 以 P (7 | 4) 代表 已 知事 件 4 发 后 情况 下 对 一 组 参数 本 质 影响 的 概率 : 
BE he Lee 
用 一 个 简单 的 方法 进一步 扩展 表示 后 验 分 布 理 解 的 影响 . 
_ P(A1D *P(D 

[Pb * PD ql 


此 后 验 分 布 也 为 未 知事 件 影响 的 预测 提供 了 一 个 平台 。 











P(I| A) 





5.7 基于 时 域 推理 








系统 机 带 学 习 的 主要 方面 之 一 就 是 因果 关系 在 时 间 和 空间 上 可 以 区 分 。 对 于 
任意 动作 都 存在 影响 ， 这 种 影响 可 能 随时 间 而 进行 。 对 于 一 个 系统 相关 时 间 范 围 
内 相关 参数 的 这 种 影响 的 理解 是 学 习 所 必需 的 。 基 于 时 间 的 推理 目标 在 于 确定 时 
间 范 围 内 动作 的 影响 。 
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因此 ,会 有 一 系列 的 结果 ， 并且 这 些 结果 影响 着 未 来 的 结果 。 如 前 所 述 ， 贝 

叶 斯 推理 给 出 了 后 验 分 布 ， 并 且 提 供 了 一 个 预测 未 知 观测 值 的 平台 。 现 在 所 关心 

的 是 不 同时 间 实 例 下 效果 与 动作 间 关 系 的 理解 。 因 此 假设 是 时 间 下 的 未 知 观测 

值 ， 这 里 感 兴趣 的 是 确定 P(7 1 4 ) 。 对 于 给 定 事件 4 在 时 间 4= 时 ， 当 时 间 
为 时 影响 的 概率 了 为 多 少 ? 

P(1, 1 4,) = [pn L, 


最 难 的 部 分 是 对 于 给 定 事件 的 累积 系统 性 影响 的 理解 。 





























to 


)P(1, 1 4, )d7 


to 





5.8 推理 建立 系统 观点 





建立 一 个 系统 的 观点 ， 需 要 结合 不 同 的 预测 结果 。 这 个 过 程 中 会 有 各 种 参数 
和 系统 的 各 个 方面 ， 这 些 都 是 基于 各 级 可 用 数据 的 推断 的 。 典 型 的 参数 和 推理 的 
部 分 包括 : 

。 系统 的 边界 ; 

。 各 种 子 系统 和 它们 之 间 的 关系 ; 

。 不 同 的 可 能 的 行动 点 ; 

。 各 种 可 能 的 行动 ; 

。 可 能 的 行动 对 各 种 关键 参数 的 影响 ; 

。 行动 的 关系 ; 

。 基于 时 间 的 推断 来 确定 结果 。 

在 所 有 这 些 推论 的 基础 上 ， 建 立 推理 和 矩阵。 该 推理 徐 阵 有 助 于 构建 系统 
视图 。 


5. 8. 1 信息 集成 


言 息 集成 的 方法 是 编译 和 合并 不 同 来 源 的 信息 ， 例 如 不 同 的 概念 、 方 案 平 
台 、 表 示 方 法 。 在 系统 性 的 学 习 中 ， 使 用 的 数据 来 源 不 同 旦 相互 分 离 ， 并且 从 非 
结构 化 或 半 结 构 式 资源 中 整合 需要 的 数据 。 信 息 集成 有 助 于 知识 的 表示 。 用 一 些 
局 部 推断 事实 的 来 源 不 同 的 信息 和 数据 汇集 在 一 起 集成 了 决策 方案 中 的 情景 。 来 
自 不 同 来 源 的 信息 和 推断 是 集成 了 涉及 决策 方案 的 情景 。 这 里 举 一 个 关于 提高 一 
个 教育 系统 学 习 能 力 的 例子 一 一 这 里 有 许多 参数 ， 例 如 : 

。 教育 系统 的 属性 (pj, ps2， …, pi); 

。 主题 提供 〈(s ，s ，:…，sw ) ; 

。 跟随 方法 (MD) ; 

。 耗费 时 间 (H) ; 
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。 考察 系统 (ES); 

。 过 去 学 生 的 成 功 和 职业 (SPS); 
。 人 研究 方法 使 用 (RM ) ; 
。 应 用 学 到 的 事实 (LF)。 
各 种 来 源 的 信息 ， 例 如 : 
。 学 校 ; 

。 教育 机 构 ，; 

。 民众 ; 

。 以 往 的 学 生 ; 

e 工厂 ; 

国际 学 校 ; 

新 闻 渠 道 。 

这 些 信 息 可 能 会 以 不 同 的 格式 和 需求 集成 。 基 于 系统 排名 的 教育 机 构 的 选择 
决策 可 以 参考 关于 方案 的 所 有 人 参数。 例如， 如 果 对 研究 相关 的 学 位 感 兴趣 ， 参 数 
的 权重 可 能 不 同 于 商业 相关 的 学 位 。 图 5. 10 描述 了 一 个 信息 集成 的 过 程 。 预 处 
理 多 个 来 源 的 信息 ， 然 后 结合 参数 来 决定 方案 ， 并 确定 参数 建立 综合 信息 。 


决策 情境 和 决策 参数 (参数 的 权重 ) 


| 















































还 波 证 下 
崩 痛 辣 亚 坦 
































-| 资源 4 资源 5 


图 5. 10 信息 集成 
5.8.1.1 学 习 时 的 选择 性 知识 建立 
在 一 个 给 定 的 决策 方案 中 所 有 相关 数据 和 推断 的 事实 可 能 不 相关 。 知 识 的 建 
立 不 是 广义 的 ， 而 是 有 选择 性 的 。 选 择 性 知识 构建 是 协同 完成 的 。 分 散 性 的 信息 
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源 带 来 分 布 式 的 信息 ， 需 要 一 个 特定 角度 的 信息 。 学 习 过 程 试图 探索 一 个 特定 方 
和 
定 应 用 程序 。 信 息 集成 解决 编译 不 同 来 源 和 不 同形 式 的 信息 。 综 合 信息 和 推理 有 
助 于 选择 性 知识 构建 决策 。 原始 数据 转换 为 信息 ， 此 信息 用 于 参数 的 选择 。 决 定 
方案 在 决策 参数 的 优先 级 中 发 挥 作用 ， 伴 随 着 决策 方案 的 参数 用 于 协同 学 习 和 协 
同 推理 。 决 定 方案 及 其 情景 用 于 选择 性 知识 构建 。 



































建立 选择 性 知识 











一 





协作 学 习 














情景 建立 和 学 习 


人 协作 推理 














原始 数据 信息 — 参数 选择 


图 5.11 选择 性 知识 构建 


情景 内 容 帮 助 建立 选择 性 决策 知识 。 图 5. 12 描述 了 高 层 情景 内 容 下 构建 的 
过 程 ， 其 中 有 许多 可 用 的 情景 。 和 情景 分 类 用 于 确定 情景 的 相关 性 。 知 识 是 连续 建 
立 的 ， 并 参照 不 同 的 情景 更 新 知识 库 。 























同 的 情景 基于 情景 的 知识 建立 和 更 
和 则 时 全 妆 学 习 和 决策 新 基础 知识 








图 5.12 高 层 情景 内 容 构 建 
5.9 小结 
本 章 涉 及 机 器 学 习 和 系统 性 机 如 学 习 最 重要 的 一 个 方面 一 一 推理 。 当 不 能 


取 完 整 的 信息 ， 需 要 在 某 些 方 案 做 出 决策 ， 但 确切 的 事实 是 未 知 时 ， 需 要 推断 数 
据 和 信息 并 构建 知识 。 参 数 、 非 参数 和 半 参 数 推理 是 著名 的 基于 分 布 的 复杂 性 和 
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应 用 的 三 种 类 型 。 需 要 建立 系统 决策 情景 。 在 系统 性 机 器 学 习 中 ， 学 习 紧 随 决策 
方案 。 特 定 的 决策 方案 下 的 决策 要 求 不 同 的 参数 ， 而 在 另 一 个 方案 中 类 似 的 决策 
可 能 不 需要 这 些 参数 决定 。 推 理 是 关于 数据 的 ， 它 可 能 需要 处 理 时 间 和 空间 的 约 
束 。 在 系统 性 学 习 中 ， 推 理 最 终 是 用 来 构建 一 个 关于 分 散 和 零碎 信息 的 完整 的 系 
统 观 点 。 信 息 集成 和 选择 性 知识 构建 可 用 于 适当 的 程序 。 统 计 推断 技术 ， 例 如 似 
然 模型 ， 其 中 包括 贝 叶 斯 推理 ， 可 用 于 确定 影响 行为 的 可 能 性 空间 和 决策 空间 。 
这 有 助 于 确定 系统 和 时 间 边 界 。 

推理 有 助 于 建立 整体 情景 环境 。 这 里 情景 帮助 建立 各 种 信息 与 历史 数据 的 关 
系 。 系 统 的 推断 行为 和 关于 有 关 参 数 的 动作 响应 允许 确定 系统 边界 。 不 考虑 技术 
和 算法 方面 ， 系 统 性 机 器 学 习 的 重点 仍然 是 系统 的 理解 、 相 关 性 和 边界 。 关 于 决 
策 方案 的 数据 集成 允许 选择 性 知识 构建 决策 。 关 于 完整 系统 作为 目标 的 特定 决策 
方案 学 习 使 得 系统 性 学 习 成 为 可 能 。 
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6.1 简介 


自 适应 机 器 学 习 是 指 关 于 环境 方面 、 决 策 能 力 或 者 学 习 问 题 的 一 种 适应 技 
巧 。 这 种 学 习 是 基于 所 收集 的 信息 、 所 学 知识 、 经 验 及 专家 意见 的 。 一 种 特别 的 
学 习 方 法 在 一 个 特定 的 场合 下 也 许 非 常 适合 ， 但 可 能 无 法 在 所 有 类 型 中 都 有 效 。 
人 们 一 般 使 用 不 同 的 方法 和 学 习 策 略 来 对 待 不 同 的 事物 、 不 同 的 场合 、 不 同 的 问 
题 。 适 用 于 学 习 数 学 的 方法 也 许 完 全 不 同 于 学 习 语言 的 方法 。 同 样 的 ， 适 合 学 习 
科学 的 方法 也 许 用 在 学 习 历 史 的 时 候 就 不 那么 有 效 了 。 此 外 ， 用 于 学 习 变 换 和 图 
像 处 理 的 方法 也 许 在 几何 学 习 上 就 不 起 作用 。 学 习 过 程 与 学 习 问 题 或 者 说 研究 内 
容 以 及 学 习 目标 密切 相关 ， 因 此 学 习 方 法 的 选择 需要 对 学 习 的 问题 有 一 定 的 了 
解 。 在 自 适应 学 习 中 ， 有 必要 分 析 学 习 问 题 ， 然 后 选择 合适 的 方法 或 者 说 最 适合 
的 动态 方法 ， 它 不 仅仅 是 在 不 同 的 方法 之 间 跳 转 或 者 结合 两 种 以 上 的 学 习 方 法 ， 
它 是 关于 数据 和 最 适合 方法 的 智能 选择 。 它 也 包括 动态 地 改变 参数 以 及 适应 信息 
使 数据 充分 使 用 ， 即 参考 决策 方案 信息 。 因 此 ， 动 态 自 适应 学 习 是 依据 学 习 的 方 
案 对 学 习 方 法 和 策略 进行 修订 的 ， 这 取决 于 实际 的 用 户 环境 和 提出 的 方案 。 对 于 
两 种 不 同 的 方案 ， 同 样 需要 考虑 不 同 环境 及 环境 中 实体 与 参数 之 间 的 关系 。 















































6.2 自 适 应 学 习 和 自 适 应 系统 





自 适 应 系统 是 一 套 不 同 的 实体 ， 它 们 是 独立 或 者 相互 依存 的 ， 真 实 的 或 者 抽 
象 的 ， 形 成 一 个 集成 的 整体 系统 ， 能 够 应 对 环境 变化 或 者 相互 作用 部 分 之 间 的 变 
化 。 这 里 所 提 到 的 学 习 环 境 、 数 据 以 及 决策 问题 都 是 变化 的 。 自 适应 学 习 系统 可 
以 高 效应 对 环境 和 学 习 框 架 中 的 变化 。 在 自 适应 学 习 系 统 中 ， 学 习 方法 、 参 数 权 
重 以 及 知识 库 的 选择 与 具体 的 学 习 方案 相 适 应 。 总 之 ， 学 习 是 基于 决策 方案 及 可 
用 信息 的 。 学 习 的 过 程 和 方法 更 能 动态 适应 不 断 变 化 的 情况 。 

集成 学 习 是 机 顺 学习 的 一 个 范例 ， 且 多 于 一 个 的 学 习 者 对 同一 个 问题 进行 训 
练 。 在 传统 的 方法 中 ， 只 有 一 个 学 习 者 和 一 个 具有 单一 学 习 假 设 的 预定 义 方 法 可 
以 用 来 学 习 。 智 能 有 时 被 用 来 确定 决策 闭 值 。 在 集成 学 习 的 情况 下 ， 一 组 假设 被 
建立 。 在 集成 学 习 中 ， 许 多 不 同 的 学 习 方法 可 以 被 组 合 使 用 。 适 应 性 学 习 的 理念 
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基于 假设 的 数量 ， 集 成 分 类 的 概念 基于 一 组 不 同 假设 的 分 类 器 。 多 专家 、 提 高 和 
投票 是 集成 学 习 使 用 多 学 习 融 的 技巧 。 

在 学 习 时 ， 人 们 从 来 不 坚持 单一 的 学 习 决 策 、 假 设 或 者 方法 。 即 使 是 对 于 单 
一 的 任务 ， 他 /她 使 用 的 多 假设 方法 ， 例 如 集成 学 习 ， 最 重要 的 是 作为 一 种 对 不 同 
的 动态 策略 的 环境 切换 的 响应 。 可 以 有 若干 专家 意见 、 不 同 的 理论 和 获取 的 知识 经 
验 一 一 所 有 这 些 东 西 都 可 以 有 效 地 、 适 当地 并 基于 需求 地 使 用 。 一 个 典型 的 多 专 
家 方案 和 信息 特征 矢量 形成 被 用 来 提出 元 专家 方案 ， 即 决策 制定 ， 如 图 6. 1 所 示 。 

这 些 专家 可 以 是 串联 或 者 并 联 的 ， 每 个 专家 具有 关联 性 并 且 可 以 代表 一 个 相 
关 权 重 的 专家 。 在 多 专家 的 情况 下 ， 不 同 的 方法 可 以 使 多 个 专家 的 知识 更 有 效 利 
用 。 对 于 技术 问题 ， 可 能 需要 技术 以 及 合法 的 专家 ， 他 们 意见 的 重要 性 不 能 简单 地 
被 组 合 ， 需 要 经 过 决策 方案 的 测试 。 

多 专家 方案 的 自 适应 学 习 的 各 种 可 能 性 如 图 6. 2 所 示 。 这 些 可 能 性 是 基于 决策 
方案 和 多 个 专家 需要 的 。 自 适应 学 习 不 仪 仪 是 多 于 一 个 专家 和 方法 的 决策 结合 ， 它 
实际 上 采用 的 是 基于 问题 的 学 习 俩 略 。 多 个 学 习 带 和 他 们 的 结合 无 疑 能 够 使 自 适应 
学 习 成 为 可 能 。 决 策 方案 可 能 需要 一 个 特定 类 的 分 离 或 者 需要 不 同类 之 间 的 关系 。 
专家 1 


专家 2 上 el 结合 































































































特征 矢量 
> ES 天 家 
专家 系统 1 专家 系统 2 专家 系统 3 …… 专 家 系统 专家 并 行 结构 
RT | 二 | | 
LS 专家 申 行 结构 
11 一 层 
多 专家 专家 第 一 层 
| 专家 |2 | 专家 I2 | 第 二 层 
ZF 2 
决策 情景 的 最 终 输出 专家 13 || 专家 |3 || 专家 13 专家 13 | 第 三 层 
图 6.1 元 专家 方案 图 6.2 多 专家 方案 





一 个 典型 的 参考 分 类 的 复杂 决策 方案 
如 图 6.3 所 示 。 

自 适应 学 习 也 可 以 使 用 多 个 具有 动态 
选择 能 力 的 学 习 器 ， 其 学 习 是 基于 环境 的 
反馈 以 及 方案 的 动态 分 析 。 这 里 可 以 有 不 
同 的 学 习 集 、 一 系列 算法 和 在 基础 学 习 者 重生 区域 
和 分 类 器 基础 上 的 方法 。 决 策 方案 的 组 合 图 6.3 复杂 决策 方案 
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可 以 形成 自 适 应 学 习 算 法 。 在 这 种 类 型 的 框架 中 ， 最 环 手 的 部 分 是 结合 不 同 分 类 
顺和 学 习 需 的 能 力 。 使 用 多 个 学 习 需 和 学 习 算 法 的 典型 框架 如 图 6. 4 所 示 。 












































本 章 将 详细 讨论 集成 学 习 、 自 党 习 设置 
适应 学 习 以 及 它 在 系统 机 器 学 习 中 了 
所 发 挥 的 作用 。 自 适应 学 习 需 要 考 学 习 设 置 指导 td1| 区 有 Ldn 
处 时 间 段 。 自 适应 学 习 以 及 基于 时 } J | 
间 轴 的 描述 方法 如 图 6. 5 所 示 。 学 法 [A | | 有 
习 策 略 的 适应 性 与 选择 是 基于 决策 于 量 
和 学 习 方 案 的 。 系 统 的 状态 可 能 会 分 类 器 四 久 本 Cn 
随时 间 而 改变 ， 会 产生 一 个 新 的 决 SN 
策 和 一 个 新 的 学 习 方 案 。 这 种 可 能 
发 生 的 状态 转换 是 由 于 获得 了 新 的 学 习 算 法 
数据 或 环境 发 生 了 变化 。 


自 适应 学 习 的 框架 应 该 能 够 建 
立 决 策 方案 和 算法 、 学 习 策略 以 及 
决策 矩阵 之 间 的 映射 。 自 适应 学 习 
模型 试图 描述 动态 行为 ， 以 及 决策 
者 的 行为 、 学 习 策略 与 持续 变化 的 图 6.4 多 学 习 器 框架 
决策 问题 及 方案 之 间 的 映射 。 这 些 模型 可 以 用 在 不 同 的 学 习 方 案 和 不 同 的 环境 
中 ， 因 此 最 重要 的 部 分 是 对 决策 方案 和 进一步 映射 以 及 获得 相应 学 习 方 案 的 理解 
和 表示 。 
































新 信息 和 环境 
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图 6.5 基于 时 间 的 自 适 应 学 习 
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6.3 ”什么 是 自 适应 机 器 学 习 


典型 的 学 习 环境 是 动态 的 。 在 现实 生活 中 ， 决 策 方案 和 学 习 环 境 是 不 断 变 化 
以 下 几 种 情况 都 有 变化 : 

。 环境 ; 

。 决策 方案 ; 

。 视角 ; 

。 参数 。 

这 一 结果 是 由 于 参数 的 变化 、 新 信息 的 可 用 性 以 及 一 些 外 部 因素 造成 的 。 寿 
遇 到 具有 建立 新 知识 的 可 能 性 的 新 的 信息 ， 这 方面 的 知识 可 以 为 学 习 提 供 一 个 新 
的 维度 。 

这 些 变化 形成 动态 学 习 方法 的 需求 ， 这 种 需求 能 够 为 展现 最 好 的 学 习 策 略 而 
适应 环境 。 在 自 适 应 学 习 系 统 中 ， 学 习 器 不 再 是 被 动 的 信息 受 体 ， 而 是 处 于 搜索 
信息 中 ， 与 信息 合作 并 适应 学 习 环 境 。 它 是 提高 学 习 和 决策 的 整体 框架 。 

既然 环境 是 变化 的 ， 甚 至 方案 和 特定 的 决策 目标 都 是 根据 内 容 改变 的 ， 自 适 
应 学 习 不 断 的 与 环境 相互 作用 然后 适应 于 最 有 可 能 的 算法 和 政策 。 一 个 简单 的 自 
适应 学 习 形 式 是 使 用 大 量 的 学 习 算法 和 分 类 器 。 学 习 算 法 可 能 伴随 着 大 量 的 学 习 
策略 ， 没 有 学 习 算 法 或 策略 在 所 有 可 能 的 情况 下 都 是 有 效 的 。 因 此 得 到 一 个 总 是 
可 以 产生 准确 结果 并 且 可 以 处 理 动态 环境 的 策略 是 一 件 有 挑战 的 事情 。 即 使 是 基 
于 数据 和 决策 方案 的 单一 情况 ， 不 同 的 学 习 策 略 和 不 同 的 算法 适合 于 特定 实例 。 
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6.4 基于 方案 的 适应 性 和 学 习 方 法 








考虑 情景 信息 并 容许 对 于 基于 决策 方案 和 学 习 策 略 的 不 同 的 学 习 者 的 动态 适 
应 ， 再 利用 大 量 智库 中 的 学 习 资 源 的 能 力 在 自 适 应 学 习 中 被 执行 。 在 和 月 适应 学 习 
中 ,是 将 不 同 的 科学 方法 进行 整合 。 并 有 各 种 不 同 的 上 自 适应 模型 。 依 据 活动 、 情 
景 和 一 些 外 形 尺寸 ， 在 一 些 模型 中 容许 资源 选择 的 决策 。 学 习 领 域 和 知识 领域 在 
一 些 领域 中 可 能 保持 恒定 。 基 于 适应 度 的 学 习 模 式 可 以 分 为 三 种 类 型 ; 

无 适应 性 模型 ; 

部 分 适应 模型 ; 

完全 适应 模型 。 

自 适应 学 习 通 过 动态 推理 来 提高 学 习 系 统 的 学 习 能 力 和 性 能 ， 有 选择 地 采用 
分 布 式 的 知识 源 ， 并 清楚 地 了 解 当前 内 容 和 关联 以 及 需要 解决 的 问题 。 情 景 感知 
和 适应 性 学 习 人 允许 学 习 融 处 理 动态 方案 。 图 6. 6 说 明了 设置 参数 Pl 和 P2 的 多 个 
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学 习 需 的 学 习 。 
多 学 习 器 学 习 
| 学 习 器 1 | 学 习 器 2 学 习 器 3 学 习 器 4 | 学 习 器 5 
中 \ > P2 
P1 P2 P1 i E 

































































图 6.6 多 学 习 器 学 习 

此 外 ， 自 适应 模型 可 分 为 交互 式 自 适应 模型 、 参 数 自 适 应 模型 、 自 适应 集成 
模型 和 实时 自 适应 模型 。 在 参数 自 适应 模型 中 ， 学 习 策 略 的 更 新 是 基于 观察 到 的 
参数 。 在 模型 中 可 以 跟踪 到 参数 的 数量 、 参 数 的 集群 和 学 习 行为 。 在 相互 作用 的 
自 适 应 模型 中 ， 基 于 系统 的 连续 作用 来 决定 用 于 学 习 的 参数 。 该 模型 与 系统 相互 
作用 来 确定 学 习 的 策略 。 在 这 个 集成 模型 中 ， 一 些 模型 组 合 起 来 。 一 个 典型 的 混 
合 专家 、 套 袋 和 多 主体 系统 可 以 归 和 人 这 个 范畴 。 在 自 适应 集成 模型 中 ， 集 成 模型 
可 以 通过 与 环境 的 相互 作用 和 观察 到 的 参数 来 选择 。 在 一 个 实时 系统 中 ， 需 要 快 
速 的 反应 和 验证 的 结果 ， 因 此 它 可 以 转化 为 决策 。 自 适应 实时 模型 是 实时 方案 的 
自 适应 模型 。 


6.4.1 动态 适应 性 和 情景 感知 的 学 习 


动态 适应 性 是 指 连续 检测 到 环境 和 适应 环境 来 处 理 实时 环境 中 的 不 确定 性 。 
一 个 简单 的 方案 适应 性 的 例子 如 图 6. 7 所 示 。 








































































































知识 库 用 户 类 设备 类 
决策 器 交互 器 
发 动机 
媒体 库 


图 6.7 方案 适应 
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知识 库 代 表 已 学 知识 和 通过 学 习 构 建 的 知识 。 推 理 机 和 决策 机 人 允许 选择 学 习 
算法 。 情 境 学 习 的 最 重要 的 方面 是 要 了 解 学 习 顺 的 学 习 环境 。 动 态 环境 要 求 适应 
性 ， 但 在 静态 环境 中 ， 学 习 可 能 采用 传统 的 方法 。 动 态 适应 可 能 是 关于 当前 环境 
的 不 断 演进 和 意识 。 自 适应 学 习 发 生 在 相关 的 方案 构建 时 ， 有 助 于 进一步 为 决策 
建立 更 好 的 方案 环境 。 参 考 方案 构建 的 学 习 构 架 以 及 学 习 自 适应 的 细节 如 图 6. 8 
所 示 。 

















学 习 目标 。 [一 一 2 用户 交 互 模块 


方案 管理 系统 TT | 


a 学 习 目 标 模块 中 一 一 一 标准 方案 模 志 
































图 6.8 参考 方案 构建 的 学 习 结 构 
方案 分 为 轮 廊 方案、 学 习 方案 和 优先 级 方案 。 传感器 
在 学 习 时 ， 系 统 做 决定 时 应 该 注意 到 整体 环境 。 























根据 应 用 的 方案 构建 如 图 6.9 所 示 。 不 同 的 传 感 了 
器 所 捕获 的 信息 由 系统 接收 。 此 信息 来 自 多 个 数 

据 源 ， 并 且 系 统 在 此 基础 上 建立 整体 方案 环境 。 + 
基于 方案 的 感知 数据 融合 有 助 于 结合 多 个 数据 源 | 方案 数据 有 全 机 区 





中 的 数据 来 全 面 建设 。 方 案 可 以 通过 参考 决策 方 
案 得 到 ， 并 用 于 决策 。 


























方案 感知 环境 的 重要 方面 是 主动 地 与 环境 相 Ws 
互 作用 。 了 解 环境 是 提高 学 习 和 动态 方案 下 做 决 ! 
策 的 一 个 关键 问题 。 动 态 适 应 与 方案 感知 结合 ， 方案 调节 子 系统 
并 允许 动态 环境 中 的 智能 学 习 。 方案 感知 是 在 决 J 
策 空间 中 对 环境 变化 、 其 关联 和 重要 性 以 及 参数 实用 


的 相关 性 的 感知 。 环 境 是 具有 实体 情况 、 环 境 和 图 6.9 其 于 应 用 的 方案 构建 
它们 关系 的 特征 。 一 个 学 习 系 统 应 该 提前 适应 于 

新 情况 来 允许 建立 知识 库 并 以 最 新 的 方式 来 对 决策 问题 重新 做 反应 。 自 适应 学 习 
是 对 当前 环境 的 了 解 ， 适 应 于 决策 方案 来 创造 知识 库 ， 并 发 展 智能 化 。 此 外 ， 这 
种 自 适应 的 学 习 是 进化 的 ， 就 这 种 意义 而 言 ， 学 习 参 数 和 方案 都 会 变 成 所 遇 到 的 
新 参数 。 自 适应 学 习 和 方案 的 发 展 都 可 作为 新 的 信息 。 参 考 上 面 的 讨论 ， 一 个 自 
适应 学 习 的 框架 如 图 6. 10 所 示 。 在 决策 空间 发 生 学 习 ， 并 从 决策 空间 和 环境 中 
输入 学 习 人 参数。 系统 的 行为 是 可 以 感觉 到 的 ， 行 为 适 配 需 试图 帮助 学 习 策 略 的 选 
择 。 参 考 知识 库 ， 基 于 此 的 适应 可 以 实现 。 以 规则 为 基础 的 系统 或 类 似 贝 叶 斯 似 
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然 算法 可 用 于 学 习 策 略 或 进一步 学 习 骨 的 选择 。 
决策 空间 


















































新 信息 新 规则 


图 6.10 自 适 应 学 习 框 架 


























6.5 系统 学 习 和 自 适 应 学 习 





无 自 适应 学 习 系 统 的 学 习 是 不 可 能 的 。 相 反 ， 自 适应 学 习 是 一 个 重要 的 性 能 
和 系统 的 学 习 部 分 。 因 为 系统 由 各 个 部 件 、 信 息 资源 和 决策 者 组 成 ， 它 形成 了 一 
个 复杂 的 环境 ， 具 有 多 形式 、 分 布 式 信 息 源 和 动态 变化 方案 。 动 态 环 境 要 求学 习 
器 具有 适应 性 的 有 效 决策 。 由 于 系统 和 决策 环境 ， 这 些 改变 会 发 生 。 有 两 种 类 型 
的 变化 : 第 一 种 是 在 相关 进程 中 更 多 关于 决策 方案 和 环境 的 信息 ; 在 第 二 种 情况 
下 ， 系 统 中 的 环境 和 参数 改变 是 因为 系统 中 一 些 其 他 的 行为 和 动态 特性 。 适 应 于 
整个 系统 的 行为 来 决定 学 习 策略 的 自 适应 系统 学 习 。 自 适应 学 习 主 要 是 理解 关于 
系统 性 知识 和 决定 学 习 的 策略 的 决策 和 学 习 方 案 。 图 6. 11 描述 了 一 种 新 的 学 习 
情境 的 适应 与 选择 。 新 的 环境 参数 、 新 的 研究 数据 以 及 决定 方案 被 用 来 建造 新 的 
学 习 和 决策 方案 。 这 有 助 于 学 习 策 略 的 选择 和 优先 级 ， 以 及 由 此 产生 的 学 习 策 略 
用 于 学 习 。 学 习 策 略 决 定 了 学 习 算 法 和 优先 级 的 选择 。 

系统 性 学 习 可 以 选择 将 多 个 学 习 器 结合 ， 因 为 单一 的 学 习 器 和 学 习 算 法 可 能 
不 能 表现 出 对 行为 的 要 求 。 此 外 ， 单 一 的 学 习 算 法 不 能 适用 于 所 有 的 学 习 环 境 。 
即使 在 单一 的 学 习 环 境 中 ， 它 可 能 不 适用 于 所 有 的 学 习 阶 段 。 对 于 自 适应 学 习 ， 
可 以 将 归纳 和 分 析 学 习 相 结合 。 有 趣 的 部 分 是 结合 使 用 学 习 者 最 有 效 地 使 用 他 
们 ， 进 化 关于 学 习 方案 的 学 习 机 制 。 学 习 器 和 策略 的 选择 有 利于 处 理 多 个 不 同 的 
决策 方案 。 





























新 环境 参数 










新 学 习 和 决策 情景 


学 习 策略 的 权重 











学 习 器 算法 选择 









































图 6.11 决策 系统 : 更 多 信息 以 及 对 学 习 的 影响 





6.5.1 多 学 习 器 的 使 用 


图 6. 12 描 述 了 基于 阶段 的 适应 性 。 在 每 一 个 学 习 阶 段 ， 学 习 融 和 系统 暴露 
于 新 的 情况 、 新 的 数据 和 新 的 关系 。 在 基于 阶段 适应 性 的 情况 下 ， 学 习 策 略 和 算 
法 是 分 别 在 每 一 个 阶段 决定 的 。 在 新 的 数据 可 以 经 常 成 为 有 用 的 方案 中 ， 基 于 阶 
段 的 适应 性 是 非常 有 用 的 。 

当 使 用 多 学 习 器 系统 时 ， 对 于 决策 方案 的 学 习 顺 竞争 性 选择 是 有 意义 的 。 使 
用 多 个 学 习 融 最 容易 和 最 简单 的 方法 是 训练 不 同 的 学 习 顺 来 解决 决策 问题 ， 这 可 
以 帮助 减少 偏向 某 一 特定 的 学 习 方法 。 对 不 同 的 学 习 带 使 用 不 同 的 训练 集 ， 也 可 
以 帮助 处 理 各 种 各 样 的 学 习 方案 。 这 种 方法 的 问题 是 在 决策 方案 的 细节 中 无 效 。 
男 一 个 问题 是 这 种 方法 是 用 来 结合 这 些 不 同 的 学 习 带 的 决定 或 者 学 习 的 。 学 习 带 
相辅相成 可 以 产生 更 好 的 结果 ， 提 升 和 级 联 可 以 帮助 优化 学 习 融 的 学 习 和 决策 绩 
效 。 甚 至 在 某 些 情 况 下 ， 训 练 的 重点 是 对 其 他 学 习 器 表现 不 好 的 数据 。 将 在 后 面 
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新 数据 新 数据 ES 新 数据 新 数据 


图 6.12 基于 阶段 的 自 适 应 








































































































讨论 自 适应 学 习 的 多 学 习 器 使 用 。 不 同 的 学 习 器 使 用 不 同 的 算法 、 做 不 同 的 决策 
方案 和 数据 的 假设 ， 并 因此 导致 不 同 的 分 类 和 决策 的 结果 。 具 有 一 个 以 上 的 学 习 
器 可 以 做 决策 ， 并 且 从 单一 的 假设 或 预定 义 的 不 可 能 在 所 有 决策 方案 都 是 有 效 的 
假设 中 自由 学 习 。 此 外 ， 不同 的 基础 学 习 器 可 以 训练 成 不 同 的 具有 各 种 各 样 训练 
集 的 方案 。 这 些 学 习 器 作为 一 组 专家 集 ， 具 有 它们 自己 特有 的 专长 领域 ， 并 且 作 
用 于 整个 学 习 过 程 。 此 外 ， 它 最 大 限度 地 减少 偏差 而 且 帮 助 得 到 合理 的 决定 。 其 
有 两 种 学 习 集 组 合 的 类 型 。 一 种 组 合 ， 多 个 学 习 器 并 行 工作 于 相同 的 数据 。 它 是 
一 种 多 专家 联合 学 习 。 所 有 的 专家 或 者 学 习 器 在 没有 考虑 到 其 他 学 习 器 的 意见 时 
做 出 决定 。 在 这 种 情况 下 ， 投 票 或 某 种 加 权 平 均 可 以 用 来 得 出 结论 。 在 这 种 方法 
中 ， 一 个 简单 的 加 权 总 和 最 终 可 以 用 来 做 决策 。 这 里 的 “结果 ”是 最 终 的 决定 
或 学 习 的 结果 ， 而 0 代表 独立 的 学 习 器 的 输出 。 
wt 
小 

此 方法 不 允许 剩余 学 习 器 从 任意 一 个 学 习 器 中 获取 帮助 。 该 方法 缺乏 协作 学 
习 和 对 知识 的 有 效 利 用 。 

词 袋 和 提升 这 两 种 方法 可 以 用 于 学 习 过 程 。 词 袋 是 由 Breimant0 提出 的 ， 这 
是 由 穿 带 聚 集 衍生 出 来 的 ， 对 集成 学 习 来 说 简单 而 且 有 效 。 它 可 以 被 认为 是 一 个 
平均 模型 的 特殊 情况 。 随 着 决策 树 ， 它 可 以 应 用 到 不 同 的 分 类 模型 。 这 个 方法 的 
重要 部 分 是 对 穿 带 的 多 版 本 训练 集 的 使 用 ， 即 代替 抽样 的 自发 过 程 。 每 一 个 训练 
集 建立 不 同 的 模型 ， 用 于 训练 不 同 的 模型 。 最 后 是 通过 结合 平均 或 投票 不 同 的 模 
型 输出 决定 的 。 套 袋 在 不 稳定 模型 的 情况 下 是 有 效 的 。 在 一 个 高 度 动态 的 情况 
下 ， 建 立 一 个 稳定 的 模型 是 很 困难 的 ， 因 此 它 可 以 被 看 作 一 种 有 效 的 技术 。 
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提升 是 一 个 非常 流行 和 广泛 使 用 的 集成 方法 ， 可 以 用 于 学 习 、 分 类 和 回归 。 
这 种 方法 最 初 是 基于 创建 一 个 弱 分 类 器 的 ， 这 是 不 准确 的 ， 但 是 比 随机 猜测 好 一 
些 。 演 替 模 型 是 基于 数据 库 的 训练 迭代 建立 的 ， 在 先前 的 模型 中 ， 那 些 被 错误 分 
类 的 点 被 给 予 更 高 的 权重 。 最 后 ， 所 有 的 连续 模型 根据 有 效 性 被 加 权 ， 并 且 根 据 
他 们 的 成 功 来 检测 ， 然 后 投票 或 平均 的 输出 结果 进行 融合 得 到 最 终 的 输出 。Ada- 
Boost[ 是 一 个 自 适应 增强 方法 ， 这 种 方法 一 次 次 地 使 用 同一 个 训练 集 ， 可 以 结 
合 基础 学 习 器 的 数量 。 这 使 得 获得 最 佳 的 一 个 以 上 的 学 习 嚣 成 为 可 能 。 这 里 的 最 
终结 果 是 指 加 权 的 不 同 结局 的 “N” 学 习 髓 ， 这 种 方法 缺乏 给 予 决策 方案 的 自 适 
应 智能 的 使 用 。 同 时 ， 在 这 种 情况 下 ， 没 有 两 个 学 习 带 可 以 提高 自身 的 性 能 。 不 
同 的 学 习 带 的 协作 和 互动 使 学 习 过 程 更 加 智能 化 ， 因 此 可 以 帮助 处 理 动态 的 学 习 
方案 。 因 此 ， 协 作 学习 可 以 适用 于 自 适 应 机 咒 学 习 。 这 种 想法 可 以 用 于 中 间 结 
的 输出 ， 在 学 习 过 程 中 使 用 协作 而 不 是 权重 。 图 6. 13 显示 了 协作 学 习 。 在 这 里 ， 
IA1，…，IA5 是 协作 学 习 的 智能 作用 和 相互 作用 。 



































决策 情景 


























协作 学 习 








图 6. 13 协作 学 习 


男 一 种 方法 是 用 于 学 习 序列 的 方法 。 在 这 里 ， 由 于 复杂 性 增加 ， 不 明确 的 学 
习 方案 被 传递 到 下 一 级 。 这 种 学 习 发 生 在 多 个 阶段 。 
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更 多 的 方法 是 多 学 习 器 在 每 一 个 阶段 做 决策 时 并 行 工作 和 协作 ， 然 后 在 每 个 
阶段 ， 学 习 屁 并 行 工作 。 这 种 协作 决定 了 学 习 参 数 、 加 权 、 求 和 ， 因 此 ,会 有 更 
好 的 决策 。 其 中 允许 决定 的 校正 和 学 习 参 数 的 整定 。 这 种 学 习 方 案 如 图 6. 14 





所 示 。 
阶 段 1: O11 ， On ， ”9 01, 是 输 


出 结果 。 








多 阶段 学 习 
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决策 情景 


| 协作 学 习 


IA1 



























































阶段 3 


图 6.14 多 阶段 的 协作 学 习 
它们 之 间 的 协作 发 生 在 最 后 阶段 : 


同样 的 ， 计 算得 到 0 ，03 ，…， 


输出 = 2 wi0; 
三 


6.5.2 系统 自 适 应 机 器 学 习 


0 ， 下 一 个 阶段 的 输出 也 会 被 计算 出 来 : 


系统 的 自 适应 学 习 是 一 种 参考 于 系统 状态 的 适应 性 学 习 。 在 这 种 情况 下 ， 环 


境 和 系统 参数 被 连续 监测 。 系 统 参 数 可 以 用 来 推 





断 系 统 的 状态 和 阶段 。 整 个 系统 


et te et 图 6. 15 描 





述 了 自 适 应 系统 学 习 。 这 里 的 自 适应 
的 发 生 基于 系统 的 输入 。 


是 基于 系统 输入 S1 ~ S10。 自 适应 学 习 


在 这 种 情况 下 ， 在 “+” 时 刻 的 系统 和 环境 模型 被 认为 是 1 时 刻 的 自 适应 决 
策 。 学 习 带 可 以 选择 在 学 习 中 循环 使 用 ， 而 任何 学 习 技术 可 以 根据 环境 和 系统 适 
应 。 适 应 性 是 基于 系统 的 、 用 户 的 和 学 习 模 式 的 。 适 应 可 以 表现 为 各 种 方式 : 





基于 模式 的 自 适应 ; 
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基于 探索 的 自 适应 ; 
基于 预测 的 自 适应 。 


图 6.15 自 适应 系统 学 习 


在 基于 模型 的 适应 性 中 ， 新 决策 方案 的 模式 或 者 行为 可 以 用 来 学 习 策 略 的 选 
择 。 基 于 决策 方案 的 行为 ， 可 以 选择 适合 的 学 习 策 略 。 在 以 基于 探索 的 适应 性 情 
况 中 ， 探 索 到 的 新 信息 可 用 于 调整 现 有 的 学 习 策略 。 在 以 预测 为 基础 的 适应 性 情 
况 中 ， 参 数 、 依 赖 和 对 未 来 的 方案 决策 环境 是 由 基于 历史 模式 的 预测 决定 的 。 预 
测 变化 时 适应 开始 。 在 高 度 动态 方案 中 ， 其 具有 合理 的 预测 能 力 ， 这 种 学 习 策略 
可 以 提供 更 好 的 适应 性 。 

有 两 种 适应 性 类 型 ; 

静态 适应 性 ; 

动态 适应 性 。 

在 静态 适应 中 ， 在 学 习 策 略 之 间 进 行 选择 ， 但 学 习 政 策 在 本 质 上 是 静态 的 。 
然而 ， 在 基于 决策 方案 变化 的 动态 适应 情况 下 ， 会 发 生 学 习 策略 的 动态 选择 和 动 
态 适 应 性 。 这 里 的 适应 是 指 一 个 整体 的 决策 方案 的 适应 ， 包 括 适 应 信息 、 参 数 和 
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依赖 关系 。 下 面 将 讨论 它们 的 适应 性 如 何 发 生 。 
。 信息 、 关 系 和 依赖 的 适应 性 
信息 适应 是 指 在 做 决策 的 背景 下 环境 和 方案 的 适应 。 系 统 在 不 同 的 情境 下 ， 
动态 环境 搭建 新 的 方案 。 在 这 些 系 统 参数 的 背景 下 适应 于 这 些 方案 是 必需 的 。 
适应 发 生 在 参照 历史 信息 和 现状 信息 时 (例如 ， 基 于 模式 的 自 适 应 学 习 )。 
参考 新 信息 的 基于 动态 环境 的 适应 性 变 成 可 用 时 同样 很 重要 。 
。 适应 性 过 程 
对 于 适应 性 过 程 ， 要 适应 下 列 事项 
参照 可 能 的 行为 ， 相 互 作用 和 依赖 的 适应 性 。 
适应 性 的 任务 和 步 又 的 顺序 。 
自 适 应 系统 学 习 需 要 从 系统 和 环境 中 输入 来 决定 学 习 策 略 。 
6.5.2.1 自 适 应 系统 的 优点 
自 适应 系统 可 以 帮助 许多 复杂 和 动态 的 现实 方案 做 出 决定 。 自 适应 系统 有 许 
多 优点 ， 一 些 重要 的 优点 如 下 : 
1) 与 学 习 相 关 的 信息 可 以 利用 ; 
2) 学 习 或 者 纠正 错误 行为 可 能 需要 较 少 的 步骤 ; 
3) 可 有 效 使 用 有 可 能 的 多 输入 ; 
4) 可 以 显示 出 动态 方案 中 要 求 的 智能 行为 。 
6. 5.2.2 自 适应 系统 的 缺点 
虽然 在 自 适应 情况 中 可 以 看 到 很 多 优点 ， 但 这 也 许 不 适用 于 所 有 的 方案 ， 并 
在 训练 和 使 用 过 程 中 表现 出 复杂 性 。 自 适应 系统 的 一 些 缺 点 如 下 : 
1) 在 一 些 方案 中 学 习 表现 较 差 。 在 游戏 的 自 适 应 系统 中 ， 系 统 也 许 由 于 较 
差 的 操作 员 而 学 到 错误 的 动作 。 
2) 通过 训练 自 适 应 系统 可 能 会 发 现 很 难 培养 出 聪明 的 新 手 和 用 户 。 


6. 5.3 自 适 应 应 用 的 设计 


设计 一 个 自 适应 学 习 系统 永远 是 有 挑 成 性 的 。 多 学 习 器 、 不 同 的 学 习 策略 和 
许多 依赖 是 自 适 应 系统 的 特点 。 自 适应 学 习 的 设计 可 以 使 用 多 个 学 习 絮 和 许多 学 
习 策 略 。 在 预定 义学 习 策 略 的 情况 中 ， 最 好 的 一 个 可 以 选择 用 来 做 决策 。 

自 适应 系统 是 可 以 应 对 方案 、 输 入 和 环境 变化 的 自 适应 和 上 自学 习 的 系统 。 目 

应 系统 和 静态 学 习 相 比 有 明显 的 差异 。 一 个 静态 的 系统 将 不 会 有 任何 的 自我 纠 
错 能 力 ， 以 及 在 同一 种 非 适应 性 方式 中 典型 的 行为 ， 直 到 被 男 一 个 系统 干扰 或 者 
结束 。 自 适应 系统 不 具备 自我 修改 或 修正 能 力 ， 只 能 够 在 小 范围 内 环境 中 变化 。 
静态 学 习 系 统 无 法 适应 新 的 环境 、 异 常 的 环境 以 及 一 些 意 想不到 的 变化 。 男 一 方 
面 ， 自 适应 系统 将 配备 自 校 正 为 不 同 的 系统 状态 ， 以 此 实现 新 环境 或 者 不 同 环 境 
























































的 导航 、 功 能 和 成 功 。 它 具有 适应 
环境 的 能 力 。 静 态 系统 有 一 定 程度 
的 适应 性 ， 但 也 总 有 一 些 功能 性 的 
约束 和 限制 。 自 适应 学 习 的 典型 设 
计 如 图 6. 16 所 示 。 

复杂 的 环境 和 动态 方案 增加 了 
自 适应 学 习 的 复杂 性 。 不 断 变 化 的 
i 

复杂 自 适 应 行为 的 典型 框架 如 图 
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图 6.16 自 适应 学 习 的 设计 
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图 6.17 复杂 自 适 应 行为 


适应 学 习 的 需要 和 适应 的 原因 


自 
智能 需要 适应 。 这 些 方案 是 动态 的 ， 不 能 适应 于 新 方案 的 学 习 也 许 是 不 完整 
的 ， 其 至 可 能 无 法 处 理 各 种 决策 方案 。 适 应 可 以 改善 在 新 的 和 未 知 的 情况 下 的 学 
习 成 绩 和 学 习 效 率 。 使 用 过 去 的 台 二 果 和 成 功 ， 它们 的 关系 在 新 方案 中 会 决定 学 习 
策略 。 自 适应 学 习 的 男 一 个 主要 优势 是 决策 方案 驱动 和 以 学 习 器 为 中 心 的 环境 ， 
这 不 是 紧密 耦合 的 任何 预定 义 的 学 习 策 略 。 此 外 ， 它 提供 了 灵活 的 应 对 决策 
方案 。 
6.5.4.1 什么 可 以 适应 于 决策 方案 

决策 方案 可 以 提供 关于 决策 环境 、 决 策 目标 、 行 为 以 及 决策 空间 的 新 参数 的 
信息 。 为 了 适应 探索 到 决策 方案 中 的 事实 来 提升 做 决策 的 能 力 ， 决 策 方案 的 自 适 
应 需要 对 决策 环境 的 理解 。 参 数 、 新 模式 、 依 赖 关 系 变化 、 新 群体 以 及 新 的 相似 
的 措施 都 应 该 在 学 习 中 采用 。 


条 吕 
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6.5.4.2 ”关于 适应 性 的 建议 

适应 性 最 有 趣 的 部 分 是 关于 新 方案 的 理解 ， 然 后 使 其 更 新 知识 库 。 需 要 征集 
正确 的 信息 并 且 删 除 异 常 的 信息 。 基 于 模式 的 技巧 太 过 于 依赖 过 去 的 经 验 。 在 适 
应 性 的 情况 下 ， 需 要 去 除 依赖 和 基于 方案 的 异常 值 。 该 信息 可 以 显示 特定 方案 中 
的 许多 新 的 事实 。 这 些 事实 需要 被 适当 地 使 用 。 


6. 5.5 适应 类 型 


正如 前 面 所 讨论 的 ， 自 适应 学 习 过 程 的 设计 是 基于 对 决策 方案 的 数据 和 信息 
的 理解 ， 自 适应 学 习 的 类 型 是 基于 对 这 些 数据 和 使 用 原因 的 分 析 过 程 。 我 们 已 经 
讨论 了 不 同 的 适应 模型 ， 适 应 类 型 是 基于 适应 过 程 的 。 用 于 学 习 的 适应 类 型 包括 
以 下 方法 。 
6.5.5.1 正 向 推理 

适应 是 基于 用 户 模型 的 信息 。 在 这 种 情况 下 ， 该 模型 试图 适应 基于 预测 的 推 
理 。 在 这 种 情况 下 ， 历 史 信 息 和 经 验 为 正 向 推理 。 根 据 现 有 的 资料 再 正 向 推理 ， 
确定 会 发 生 什 么 ， 这 是 用 于 进一步 的 适应 。 
6.5.5.2 方向 推理 

决定 是 由 于 用 户 模型 信息 的 需要 和 在 此 规定 下 的 事件 信息 的 需要 得 到 的 。 这 
是 基于 最 终 的 目标 ， 以 及 特定 结果 被 决定 的 原因 ， 如 图 6. 18 所 示 。 






























































为 什么 ? 
开始 阶段 1 | 最 终 方案 
p> 
常规 问题 解决 方向 
图 6.18 反 向 推理 














6.5.S.3 基于 事件 的 适应 性 

在 基于 事件 的 适应 性 的 情况 下 ， 一 个 事件 用 于 适应 的 基础 和 信息 。 在 这 里 ， 
向 前 和 向 后 推理 都 可 以 用 。 基 于 事件 的 适应 性 不 仅仅 需要 模式 ， 更 是 以 事件 为 中 
心 ， 以 及 每 件 有 用 的 指示 的 行为 。 
6. 5.5.4 基于 模式 的 适应 性 

基于 模式 的 适应 是 基于 信息 、 数 据 或 系统 的 行为 模式 的 。 系 统 试图 跟踪 模式 
和 模式 中 的 变化 。 参 考 模式 中 的 变化 ， 整 体 的 学 习 策略 是 适应 性 的 。 
6.5.5.5 基于 特征 的 适应 性 

步步为营 的 自 适 应 应 用 是 非常 有 用 的 。 基 于 特征 的 适应 允许 多 种 变化 。 每 一 
种 特征 经 过 测试 考验 ， 它 可 以 用 于 某 些 情况 。 























6.5.5.6 基于 不 确定 性 的 用 户 模 型 适应 性 


在 基于 不 确定 用 户 适 应 性 模型 中 ， 不 确定 性 的 程度 可 以 用 来 做 适应 性 决策 和 
学 习 策略 的 选择 。 


图 6. 19 描述 了 系统 、 用 户 和 适应 性 之 间 的 关系 。 适 ee 
测 出 来 的 ， 并 且 可 以 以 奖励 或 者 惩罚 的 形式 进一步 来 用 作 自 适应 学 


系统 




















关于 用 户 的 数据 











用 户 模型 适应 性 
图 6.19 系统 、 用 户 和 适应 性 的 关系 

















6.5.5.7 改变 系统 边界 
适应 性 可 能 不 限于 学 习 需 的 选择 ， 但 它 可 以 超越 。 系 统 边界 由 新 的 方案 和 新 
的 决策 问题 来 改变 。 系 统 新 边界 的 适应 和 参照 新 情境 的 学 习 是 必需 的 。 环 境 在 不 


断 变 化 ， 新 的 环境 提供 决策 参数 ， 这 些 参数 有 助 于 建立 决策 方案 。 在 现实 生活 中 
的 一 个 变化 环境 的 典型 方案 如 图 6. 20 所 示 。 
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图 6. 20 多 平台 环境 
决策 方案 也 与 背景 有 关 。 这 些 信息 可 能 来 自 不同 的 平台 ， 也 可 能 存在 本 质 的 
多 样 性 。 
6.5.5.8 时 间 和 空间 的 适应 性 
适应 是 一 个 不 断 变化 方案 下 的 功能 ， 并 且 自 适应 学 习 参 考 于 方案 。 方 案 在 时 
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间 和 空间 中 变化 ， 在 时 间 和 空间 的 维度 中 ， 新 的 信息 也 可 以 得 到 。 新 的 信息 和 决 
策 方案 相关 性 之 间 的 关系 在 适应 性 中 起 到 了 重要 作用 。 适 应 性 需要 考虑 到 在 提供 
的 决策 情境 中 关于 时 间 和 空间 的 学 习 以 及 关于 这 些 参 数 的 探索 。 


6.5.6 自 适应 框架 


适应 性 框架 得 到 新 方案 、 新 信息 和 参数 的 输入 ， 并 且 适 应 新 的 情况 ， 制 定 新 
的 信息 学 习 策略 。 框 架 应 该 了 解 新 信息 的 依赖 关系 的 影响 ， 并 形成 或 者 选择 适合 
信息 学 习 策 略 。 信 息 可 以 从 不 同 的 来 源 得 到 ， 有 助 于 确定 关系 和 在 决策 影响 中 的 
变化 ， 这 进一步 有 助 于 建立 决策 背景 。 参 照 知识 库 ， 建 立 了 决策 方案 。 自 适应 杠 
架 如 图 6. 21 所 示 ， 使 用 这 个 决策 的 方案 ， 来 决定 学 习 策 略 和 适应 新 的 决策 方案 。 
这 是 一 个 连续 的 过 程 ， 参 照 决 策 方案 的 最 好 的 学 习 策 略 可 进行 适应 性 学 习 。 


环境 和 适应 性 整合 I 
新 知识 mg 
存在 危险 适应 策略 识别 


监控 和 评估 亿 先 权 
要 实施 和 证 明 中 


图 6.21 自 适应 框架 : 一 个 连续 过 程 






















































































这 里 讨论 的 框架 ,将 有 助 于 一 个 适应 策略 的 选择 或 给 出 适应 性 行动 实施 的 指 
南 。 在 发 展 适应 性 和 学 习 策 略 的 过 程 中 有 许多 重要 和 必须 的 阶段 。 自 适应 学 习 是 
一 个 持续 的 过 程 ， 与 环境 的 变化 和 决策 方案 有 关 。 它 包括 下 面 的 几 个 阶段 ， 有 许 
多 关键 因素 : 

。 选择 和 检查 的 决策 参数 是 一 个 迭代 过 程 。 这 是 必需 的 ， 任 何 战略 是 基于 
相关 的 决策 参数 不 断 更 新 的 。 

。 新 行为 的 探索 。 探 索 新 的 行动 和 这 些 行动 的 影响 ， 有 助 于 适应 。 

。 一 种 机 制 来 感知 信息 等 相关 的 决策 参数 ， 了 解 这 些 参数 的 相关 性 。 

。 适应 功能 。 适 应 函数 推导 适应 一 种 新 的 决策 方案 。 

图 6. 22 描述 了 自 适 应 性 框架 代表 着 决策 质量 ， 它 从 环境 接收 关于 质量 的 反 
人 馈 。 协 作 算法 负责 期 望 、 反 馈 、 参 数 和 间隔 尺寸 之 间 的 合作 协调 。 学 习 器 适应 它 
们 ， 并 决定 学 习 平 台 和 学 习 策 略 。 




















[一 和 学习 器 + 


表现 平台 。 <> 合作 : 算法 ”<> 品质 目标 交流 
关于 粒度 的 内 容 
图 6.22 ” 自 适应 性 框架 











6.6 ”竞争 学 习 和 自 适 应 学 习 


自 适应 学 习 具 有 可 竞争 性 。 在 竞争 性 的 自 适 应 学 习 中 ， 一 个 以 上 的 学 习 器 有 
助 于 适应 。 概 念 自 适应 对 手 不 利于 竞争 性 学 习 ， 这 是 由 Cheung 等 人 提出 的 59] 。 
这 包括 训练 和 预测 阶段 。 在 这 里 ， 滑 动 窗口 通过 对 输入 一 输出 扫描 。 在 这 种 方法 
中 ， 自 适应 学 习 在 预测 阶段 进行 预测 。 在 一 个 特定 的 实例 中 所 有 的 信息 可 能 不 全 
部 可 用 ， 在 特定 时 附中 有 可 用 的 输入 一 输出 关系 。 这 些 可 能 的 时 间 间 隔 期 间 采 取 
的 形式 是 可 用 的 快照 。 有 时 ， 两 个 独立 的 时 隙 无 法 有 效 利 用 。 为 了 更 好 地 使 用 关 
系 并 且 建 立 关 系 ， 可 以 利用 一 个 滑动 窗口 机 制 。 滑 动 窗口 机 制 有 重 闪 的 时 间 惟 ， 
如 图 6. 23 所 示 。 












































输入 - 输出 对 的 设置 | P1 [po [ps [pa 和 Pn 
1L | 
1 
时 间 截 13 
滑 块 窗口 
1APO | 





图 6.23 滑动 窗口 机 制 


在 竞争 性 的 自 适 应 学 习 中 ， 学 习 器 参与 竞争 ， 满 足 系统 的 设计 要 求 。 在 这 种 
情况 下 ， 一 个 或 多 个 学 习 器 适合 于 决策 方案 或 适用 于 预测 使 用 学 习 的 方案 。 典 型 
的 竞争 性 自 适应 机 器 学 习 架 构 如 图 6. 24 所 示 。 在 这 张 图 中 ,11 ~ I8 是 输入 源 和 
言 息 。 此 信息 用 于 预测 决策 方案 ， 学 习 器 LI1 到 1L5 参考 决策 方案 来 竞争 ， 得 到 输 
出 ， 并 由 竞争 来 建立 学 习 策 略 。 
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图 6.24 竞争 性 自 适应 机 器 学 习 















































6. 6.1 适应 性 函数 


应 性 功能 依赖 于 决策 方案 和 人 参数。 需要 计划 的 决策 情境 来 学 习 策 略 和 最 佳 
0 自 适 应 函数 完成 了 任务 ， 它 提供 了 预定 义 的 学 习 策 略 来 完成 学 习 优 
化 ， 它 是 时 间 依 赖 性 并 给 出 了 在 特定 时 刻 最 好 的 策略 。 该 参数 表示 和 函数 讨论 
如 下 : 











环境 参数 : lel; €2) 6C3 en 上 
预测 的 环境 参数 : |/ ; 放大 上 
误差 : fe, 61; 


适应 性 函数 = (误差 )， 

新 的 决定 参数 =f (新 方案 、 新 参数 、 旧 参数 、 适 应 性 函数 ) 。 
6.6.1.1 决策 参数 和 方案 

这 里 将 以 决策 参数 和 决策 方案 为 重点 讨论 以 决策 为 中 心 的 主动 学 习 。 一 
动 学 习 的 主要 部 分 是 得 到 所 有 未 标记 样本 的 标签 。 在 这 种 方式 的 应 用 过 程 中 ， 它 
应 该 产生 一 个 更 好 的 模型 。 在 做 学 习 和 决策 时 ， 同 时 要 考虑 决策 方案 。 决 策 参 数 
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是 指 决 策 过 程 中 相关 的 参数 和 影响 。 决 策 理论 模型 是 基于 数学 /统计 决策 理论 的 
概念 。 一 个 通用 的 知识 库 的 决策 如 图 6. 25 所 示 。 


专家 | | 数据 


' 


对 话 系统 | 知识 代表 
知识 模型 










































图 6.25 知识 库 系统 : 基础 结构 





在 决策 为 中 心 的 学 习 案例 中 ， 重 点 是 获取 决策 参数 ， 并 在 此 基础 上 探索 事实 
和 未 标记 的 信息 并 明确 地 使 用 。 在 这 里 学 习 是 基于 决策 及 其 影响 的 。 在 决定 学 习 
的 情况 下 ， 最 优 决 策 是 用 来 学 习 与 分 类 的 。 在 反应 学 习 的 情况 下， 预测 模型 估计 
行动 的 输出 概率 ， 用 来 学 习 。 决 策 方案 决定 不 同 的 决策 参数 。 领 域 知 识 、 历 史 信 
息 、 探 索 决 策 参数 和 决策 方案 ， 用 于 决定 学 习 策 略 。 结 合 对 话 管理 域 管理 器 的 基 
本 结构 如 图 6. 26 所 示 ， 领 域 知识 需要 建立 环境 。 领 域 知识 和 决策 的 相互 作用 是 
基本 的 输入 域 管理 器 。 


任务 模型 ) 〈 对 话 模型 主要 模型 


对 话 管理 ”| ww| 主要 知识 管理 原因 : 空间 和 时 间 
其 他 帮助 信息 
更 新 数据 库 


图 6.26 领域 知识 和 对 话 管理 器 : 基本 观点 






































118 决策 用 强化 与 系统 性 机 器 学 习 











决策 参数 的 选择 是 基于 历史 模式 和 参数 对 结果 的 影响 的 可 能 性 。 这 通常 基于 
决策 参数 的 相关 性 。 各 种 统计 方法 可 以 用 于 为 一 个 给 定 的 决策 方案 中 决定 参数 的 
选择 。 

决策 参数 是 用 来 开发 以 决策 为 中 心 的 两 种 学 习 数学 模型 的 。 变 量 的 排名 决定 
了 学 习 和 决策 过 程 中 参数 的 权重 。 决 策 网 络 的 建立 使 用 了 数据 输入 、 专 家 输入 、 
不 同 参数 和 公用 事业 。 决 定 是 由 所 有 这 些 输入 精炼 出 来 的 。 一 个 典型 的 决策 网 络 


如 图 6. 27 所 示 。 
CD Ca 
改进 验证 和 测试 | 建立 决策 工作 网 络 


图 6.27 决策 工作 网 络 的 建立 























自 适 应 学 习 需 要 管理 决策 信息 、 关 系 和 属性 。 根 据 决策 方案 的 属性 排序 是 必 
需 的 。 在 不 同 层次 不 同 的 环境 信息 进一步 评估 后 进行 学 习 策略 的 适应 。 


6.6.2 决策 网 络 


在 决策 网 络 中 ， 决 策 变化 不 仅 基 于 信息 ， 也 基于 对 这 些 信息 的 解释 。 男 一 个 
因素 是 环境 的 表示 。 一 个 决策 网 络 包括 代理 商 的 当前 状态 信息 、 可 能 采取 的 行 
动 、 可 能 的 结果 和 和 转换。 特定 的 动作 发 生 基于 一 些 关 于 环境 的 证 据 或 资料 。 

设 A 是 参照 知识 的 实例 KI 的 动作 。 然 后 采取 行动 A 的 预期 影响 (EI) 可 以 
通过 贝 叶 斯 给 出 : 








EI(A/KI) = 2 输出 ， 


决策 网 络 可 以 处 理 多 个 行动 和 结果 。 决 策 网 络 包括 事件 、 依 赖 性 以 及 随 着 决 
策 参数 改变 的 影响 。 图 6. 28 展示 了 参考 自 适 应 学 习 的 不 同 的 决策 属性 。 它 解释 
过 滤 后 的 数据 ， 有 助 于 建立 看 法 。 决 策 者 使 用 这 些 看 法 ， 而 不 同 的 属性 被 用 于 生 
成 意图 。 决 策 者 用 一 组 行为 例 程 作 参 考 决定 参数 控制 的 决策 。 
6.6.2.1 基于 决策 和 问题 案例 的 学 习 

在 基于 历史 数据 或 预定 义 的 学 习 给 定 值 的 情况 下 ， 可 用 于 处 理 的 信息 被 用 来 
学 习 。 但 这 也 有 一 些 限 制 例如 不 能 捕捉 新 的 方案 和 在 案件 不 明 的 情况 下 做 出 错误 
的 决定 。 但 在 探索 式 学 习 的 情况 下 ， 这 些 决 定 和 结果 可 能 是 有 益 的 学 习 。 基 于 决 
策 的 学 习 试图 利用 这 个 决策 的 信息 、 决 策 的 方案 以 及 做 决策 的 影响 。 所 有 的 学 习 






































图 6.28 决策 者 的 工作 
指向 都 通过 历史 决策 。 
在 基于 问题 和 方案 的 学 习 中 ， 感 知 相关 性 是 很 重要 的 。 另 外 ， 作 为 方案 的 延 
伸 ， 有 必要 进行 累积 学 习 。 基 于 问题 的 学 习 需 要 主动 去 学 习 。 随 着 新 的 信息 的 出 
现 ， 不 再 有 效 的 旧 的 假设 被 修正 。 而 另 一 种 选择 ， 一 个 方案 呈现 了 不 同 可 能 参数 
的 学 习 。 它 更 像 是 模拟 的 探索 。 最 适当 的 、 最 相关 的 、 最 频繁 的 案例 帮助 去 提供 
更 好 的 知识 积累 。 


6.6.3 自 适 应 学 习 方 案 
假设 一 个 拳击 手 正 在 表演 ， 其 中 假设 对 手 是 一 个 左 撤 子 并 因此 将 用 左手 攻 


击 。 按 照 这 种 假设 ， 拳 击 手 将 有 他 自 
己 的 防守 计划 ， 其 至 攻击 都 是 被 计 。 /主动 适应 性 en 
划 。 不 久 ， 拳 击 手 意识 到 对 手 可 以 用 


两 只 手 冲击 得 同样 好 现在 他 已 经 
适应 了 这 种 环境 并 赢得 了 上 比赛。 这些 
修改 是 根据 对 手 的 身体 语言 、 对 不 同 
动作 的 反应 以 及 在 恰当 过 程 适应 的 结 
果 。 图 6. 29 讨论 了 一 个 典型 的 自 适 环境 中 的 变化 元 素 行为 
应 学 习 方 案 方面 的 例子 。 的 变化 
We 

是 ee 图 6. 29 ”适应 性 学 习 ， 随 着 环境 的 改变 而 改变 
识 获 取 、 能 力 以 及 学 习 模 式 的 。 图 6. 30 展示 了 关于 学 习 策 略 的 目标 和 挑战 。 

在 学 习 的 情况 下 ， 老 师 根 据 学 生 的 兴趣 和 特长 选择 合适 的 学 习 策 略 。 这 些 输 
入 信息 可 以 试图 通过 问卷 或 者 与 学 生 互动 得 到 。 基 于 这 些 ， 课 程 内 容 可 以 重新 设 
计 ， 交 作业 的 方式 可 以 被 改进 ， 甚 至 教学 策略 可 以 被 最 终 确定 。 这 里 的 参数 包括 
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学 生 的 兴趣 、 他 们 的 学 术 背景 、 其 他 的 课程 以 及 学 校 的 总 体 目 标 。 





6.6.3.1 自 适 应 学 习 的 补充 和 选 学 习 策 略 
择 方法 1. 获取 知识 
在 自 适 应 机 器 学 习 的 情况 下 选 2. 获取 主要 知识 的 能 力 
缀 和 | 绰 训 和 树 开 I 此 天才 -IW 王 县 3. 处 理 特别 需求 
择机 需 学 习 模 型 时 ， 模 型 有 必要 是 4 . 监控 学 习 模式 





相辅相成 的 ， 基 本 方法 需要 根据 其 
适当 性 来 进行 选择 。 针 对 不 同人 群 
和 不 同 的 方案 ， 大 量 的 互补 技术 可 | 目标 
能 是 有 帮助 的 。 这 通常 包括 开采 和 ”| 利用 改变 情景 或 者 
勘探 技术 的 结合 、 定 量 和 定性 技术 “| 是 放 末 处 理 复杂 站 
的 结合 、 中 心 知识 和 推理 技术 的 结 
合 、 串 行 和 并 行 学 习 技 术 的 结合 以 图 6. 30 ”学习 策略 : 目标 和 挑战 
及 投票 和 过 滤 技 术 的 结合 。 补 充 方 
法 的 选择 可 以 为 需要 处 理 的 复杂 的 决策 提供 全 面 的 学 习 。 
6.6.3.2 复杂 的 学 习 问题 和 不 同学 习 方 法 的 需求 

在 现实 生活 中 需要 处 理 的 学 习 问 题 比 较 复 杂 。 同 样 的 学 习 方 法 ， 不 能 用 来 处 
理 不 同 的 决策 方案 ， 因 此 需要 不 同 的 学 习 方法 去 处 理 复杂 的 决策 问题 。 











挑战 


1. 获 得 好 的 学 习 
2. 获得 认真 能 力 



































6.7 范例 


本 节 讨 论 不 同 的 自 适 应 学 习 的 分 类 问题 。 

文档 分 类 : 随 着 信息 大 爆炸 ， 有 大 量 的 文件 集 需 要 被 归 类 。 这 些 文件 包括 研 
究 论文 、 新 闻 文 章 、 商 业 表格 、 个 人 文件 和 银行 文件 。 甚 至 在 一 个 特定 域 中 的 情 
况 下 ， 有 许多 不 同 的 文件 需要 进行 分 类 。 新 文件 和 新 的 决策 问题 的 可 用 性 需要 在 
学 习 策 略 中 改变 。 当 同一 套 贷款 文件 都 被 归 类 为 承保 与 财产 评 佑 时， 就 需要 有 一 
个 适应 的 决策 方案 创建 正确 的 桶 。 

其 他 的 自 适 应 分 类 的 应 用 包括 以 下 内 容 : 

1. 卫星 图 像 分 类 ; 

2. 学 生 行 为 的 分 类 。 
6.7.1 案例 研究 ， 基于 自 适应 学 习 的 文本 

基于 文本 的 学 习 需 要 理解 情景 ， 决 策 案例 和 情景 密切 相关 。 各 种 不 同 的 方法 
和 人 解决 方案 ， 如 支持 向 量 机 方法 、 提 高 和 近邻 可 用 于 文本 分 类 。 与 环境 和 决 
策 案 例 相 适应 的 学 习 是 必需 的 。 自 适应 学 习 参 照 新 的 信息 有 助 于 知识 库 的 建立 。 
此 外 ， 新 的 信息 可 以 改变 决定 。 有 必要 参考 环境 变化 增强 学 习 系 统 的 行为 。 在 简 
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单 的 适应 中 ， 固 定 的 规则 发 生 改 变 。 这 种 适应 性 可 以 采取 一 个 更 高 水 平 的 灵活 性 
表现 出 智能 行为 。 这 种 信息 可 以 适应 用 户 、 环 境 适 应 和 行动 。 适 应 可 以 发 生 在 任 
务 的 顺序 中 、 在 行为 或 进程 的 相互 作用 中 。 在 这 里 ， 该 系统 能 适应 目标 、 决 策 参 
数 和 用 户 输入 。 例 如 ， 一 个 具有 研究 背景 的 人 研究 机 顺 学 习 论文 时 ， 该 系统 可 以 
适应 这 些 输入 。 它 能 够 适应 它 先 前 的 搜索 和 查询 ， 随 着 近年 来 科学 的 进步 ， 可 以 
产生 最 好 的 结果 。 图 6. 31 描述 了 环境 和 用 户 之 间 的 关系 。 

智能 适应 包括 : 


用 户 改革 
所 一 一 一 ”用户 工作 区 域 的 内 容 











物理 环境 | 地 点 | 时 间 





个 人 内 容 | 用 户 目 标 











环境 内 容 和 用 户 内 容 一 一 一 全 
设备 视图 
图 6. 31 环境 背景 和 用 户 背 景 





。 插入 /删除 信息 : 
1) 先决 条 件 的 解释 和 基于 情景 信息 的 挖掘 可 通过 适应 用 户 需 求 被 搬入; 
2) 补充 信息 或 解释 可 以 适应 用 户 行为 ; 
3) 可 以 根据 用 户 的 整体 行为 提供 相关 的 文件 。 
改变 信息 和 关系 : 
1) 参照 新 的 行动 ， 信 息 能 够 被 提供 和 更 改 ; 
2) 适应 社会 和 信息 的 情况 下 ， 可 以 提供 新 的 信息 。 
。 文件 的 自 适应 分 类 。 建 立新 的 关系 和 群体 形式 ， 以 适应 用 户 的 需求 。 
。 通过 适应 信息 模式 提供 额外 的 信息 。 
参照 完成 知识 的 存储 库 ， 适 应 环境 变化 。 
。 根据 用 户 的 适应 行为 不 提供 一 些 信 息 
在 这 种 方式 中 最 相关 的 信 ， 息 可 以 提供 给 用 户 ， 文本 分 类 能 够 自 适应 地 进行 ， 
甚至 可 以 提供 自 适 应 导航 支持 。 因 此 ， 对 于 研究 论文 的 选择 ， 情 景 可 能 包括 用 户 
背景 、 以 前 的 搜索 、 项 目 需求 、 同 事 、 人 研究 实验 室 等 。 


6.7.2 自 适 应 学 习 的 文档 挖掘 


有 大 量 的 文件 集 ， 从 文件 堆 中 得 到 最 相关 的 文件 ， 仍 然 是 一 个 挑战 。 每 次 针 
对 不 同 的 目标 文件 需求 不 同 。 所 需 的 信息 可 能 有 确切 的 方案 和 类 似 的 信息 ， 那 可 能 
是 没 用 的 。 在 这 种 情况 下 ， 需 要 挖掘 适应 方案 的 决策 。 自 适应 文档 挖掘 可 以 解决 这 
个 问题 。 这 里 有 必要 选择 一 个 具有 代表 性 的 目标 ， 并 且 这 个 目标 能 基于 用 户 的 行为 
进行 跟踪 。 在 不 同 的 决策 问题 中 ， 文 件 和 角色 的 行为 需要 被 考虑 ， 即 使 用 户 行 为 可 
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以 帮助 适应 。 基 于 自 适 应 行为 的 学 习 是 基于 自 适应 行为 的 系统 和 观察 到 的 影响 结果 
的 研究 ， 自 适应 文档 介绍 是 参照 客户 行为 和 手头 问题 的 ， 相 关 的 决策 方案 的 文档 被 
呈现 给 用 户 。 此 外 ， 自 适应 重组 和 自 适应 分 类 文档 可 以 使 用 自 适 应 学 习 。 

最 初 ， 用 户 对 体育 文档 感 兴趣 并 挖掘 它们 ， 但 是 却 对 那些 也 谈论 体育 运动 的 
政治 文档 很 反感 。 这 里 的 决策 方案 是 识别 最 近 的 体育 活动 。 当 用 户 现在 是 一 名 对 
体育 赛事 就 职 感 兴 趣 的 体育 记者 时 ， 决 策 方案 发 生 改变 。 在 新 的 决策 方案 下 ， 所 
有 和 开幕 相关 的 体育 赛事 都 会 被 分 类 进 一 个 集群 中 并 通过 自 适应 学 习 形 成 不 同 的 
集群 结构 。 此 外 ， 自 适应 学 习 可 以 在 自 适 应 文档 导航 中 提供 帮助 ， 其 中 文件 分 类 
适合 于 参照 决策 方案 ， 这 将 允许 自 适 应 知识 积累 和 代表 。 

















6.8 小 结 


不 断 变 化 的 方案 、 动 态 的 环境 以 及 在 现实 生活 中 不 确定 性 的 决定 问题 造成 在 
实际 生活 中 机 器 学 习 的 各 种 挑战 。 目 适应 学 习 可 以 在 很 多 情况 下 提供 帮助 并 得 到 
更 好 的 学 习 和 决策 结果 。 

自 适应 学 习 是 随 着 环境 与 方案 的 变化 不 断 调 整 的 。 因 为 行为 的 变化 ， 当 系统 
遇 到 新 的 信息 和 新 的 决策 方案 时 ， 可 以 提供 全 新 的 和 不 同 的 行为 的 信息 。 学 习 政 
策 是 好 的 ， 但 到 目前 为 止 可 能 和 新 方案 不 相关 。 目 适应 学 习 能 适应 方案 的 决定 、 
新 的 知识 、 用 户 行为 和 用 户 输入 。 自 适应 系统 是 一 组 不 同 的 实体 ， 独 立 的 或 相互 
依存 的 、 真 实 的 或 抽象 的 ， 形 成 一 个 完整 的 整体 ， 它 们 能 够 共同 应 对 环境 或 相互 
作用 的 改变 。 

基于 学 习 方案 从 现 有 的 分 类 组 中 选择 学 习 算 法 或 学 习 顺 是 一 个 学 习 途 径 。 因 
为 这 种 方法 有 预定 义 的 分 类 ， 它 是 有 必要 的 ， 这 些 分 类 能 够 演变 和 适应 不 断 变化 
的 行为 去 表现 出 真正 的 学 习 和 智能 行为 。 多 机 协同 学 习 可 以 适应 不 同 的 阶段 ， 而 
学 习 是 合作 的 ， 因 此 整体 的 学 习 是 受益 于 不 同 的 学 习 代理 的 。 适 应 需要 去 捕获 决 
策 方案 和 相关 参数 ， 该 决策 方案 和 相关 参数 用 于 自 适 应 学 习 当 中 。 自 适应 学 习 是 
系统 学 习 的 一 个 重要 组 成 部 分 ， 就 像 系统 依赖 性 揭示 的 那样 ， 学 习 进 程 和 系统 需 
要 适应 环境 的 变化 。 
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第 7 章 多 视角 和 全 局 系统 性 的 学 习 


7.1 简介 


讨论 到 目前 为 止 ， 学 习 时 能 够 有 效 地 优化 利用 所 有 的 资源 、 信 息 、 数 据点 和 
信息 源 是 很 必要 的 。 因 此 ， 应 利用 所 有 直接 和 间接 的 知识 源 。 当 考虑 全 局 系统 学 
习 时 ， 应 该 期 望 能 学 习 到 全 局 系统 可 能 行为 的 细节 。 全 局 系统 的 学 习 是 一 种 吸引 
学 习 者 头 部 、 心 脏 和 手 的 结构 性 方法 ， 也 恰 是 学 习 者 的 全 局 系统 。 同 样 的 ， 全 局 
系统 机 器 学 习 (WSML) 的 概念 就 涉及 了 占用 所 有 可 利用 的 信息 和 资源 来 形成 它 
们 最 优 的 学 习 能 力 ， 这 指 的 是 参与 的 所 有 信息 资源 、 认 知 对 象 和 动作 要 点 。 全 局 
系统 学 习 的 一 个 重要 方面 就 是 从 不 同 角 度 完全 获取 到 系统 信息 和 知识 。 有 趣 的 
是 ， 对 全 局 系统 学 习 而 言 ， 多 视角 学 习 是 必需 的 。 

由 于 能 够 使 用 和 接触 到 越 来 越 多 的 信息 ， 所 以 用 这 些 信息 进行 最 优 学 习 就 变 
得 更 加 重要 。 信 息 的 每 个 部 分 都 提供 了 一 个 确定 的 角度 ， 有 一 些 角度 对 决策 方案 
是 非常 重要 的 ， 而 有 些 就 不 那么 重要 。 当 缺少 不 同 可 能 视角 的 知识 时 ， 决 策 就 变 
得 更 加 困难 ， 学 习 也 就 仍然 是 不 全 局 的 。 采 用 全 局 系统 这 里 指 的 是 利用 所 有 可 能 
的 信息 作为 有 效 学 习 的 途径 。 

视角 是 一 种 观点 ， 更 精确 来 说 是 在 一 些 假定 情况 下 整理 收集 的 数据 ， 这 些 假 
设 定义 了 看 竺 系统 和 行动 的 观点 。 从 不 同 角度 收集 、 处 理 和 呈现 的 信息 会 产生 不 
同 的 决定 驱动 程序 。 当 学 习 过 程 涉及 多 个 智能 决策 者 并 且 这 些 决策 者 中 的 每 一 个 
都 是 从 一 个 特别 的 角度 搜集 信息 时 ， 那 所 有 这 些 决策 者 联合 起 来 就 能 使 全 局 系统 
学 习 成 为 可 能 。 虽 然 多 视角 学 习 增加 了 全 体 获取 的 复杂 性 ,但 与 传统 学 习 机 制 相 
比 产 生 了 更 多 的 学 习 机 会 。 不 同 决策 者 吸收 的 信息 和 不 同 的 假定 一 起 从 特别 的 观 
点 和 视角 提供 了 系统 图 片 。 互 动 和 主动 学 习 要 考虑 这 些 不 同 的 观点 ， 这 样 能 够 帮 
助人 们 将 它们 组 合 为 整体 的 视角 来 学 习 。 

全 局 系统 学 习 也 是 对 来 源 于 多 样 化 智能 决策 者 的 信息 的 多 感官 学 习 ， 信 息 以 
不 同形 式 来 自 于 不 同 的 资源 。 有 效 的 学 习 具 有 如 下 特性 : 它 是 前 后 相关 的 ， 递 增 
并 累积 的 ， 它 有 提供 综合 观 的 能 力 ， 还 应 是 积极 主动 的 、 协 作 的 和 反思 的 。 所 有 
这 些 特 性 都 使 学 习 更 加 复杂 化 ， 但 是 它 能 够 解决 一 些 复杂 学 习 方 案 的 关键 问题 。 
从 想 要 完全 理解 系统 的 视角 而 言 ， 全 局 系统 学 习 非 常 重要 。 多 视角 学 习 是 对 不 同 
视角 收集 的 信息 和 数据 的 处 理 过 程 ， 这 也 就 是 学 习 的 参数 、 价 值 和 目标 ,为 的 就 
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是 考虑 不 同 的 视角 而 做 决定 。 视 角 也 是 定义 在 假设 基础 上 的 ， 当 存在 多 个 信息 源 
而 且 信 息 来 自 不 同 视角 时 ， 则 信息 就 很 有 可 能 是 多 样 化 的 。 把 不 同 的 信息 和 知识 
展现 在 同一 个 平台 上 就 很 有 必要 。 

总 之 ， 多 视角 机 器 学 习 (MPML) 和 WSML 是 系统 机 器 学 习 的 两 个 重要 方 
面 。 虽 然 全 局 系统 机 器 学 习 试 图 利用 所 有 的 信息 和 方方面面 进行 有 效 的 学 习 ， 但 
多 视角 机 器 学 习 试 图 得 到 所 有 全 局 系统 学 习 所 需求 的 信息 ， 并 试图 整合 它们 。 图 
7.1 描绘 了 MPML 和 WSML 在 系统 机 器 学 习 中 的 角色 。 
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图 7.1 MPML 和 WSML 的 框架 





7.2 多 视角 方案 构建 


这 里 的 方案 定义 是 在 学 习 发 生 时 理解 系统 状态 的 基础 上 。 当 需要 基于 学 习 情 
况 做 决策 时 ， 需 要 理解 决策 方案 ， 所 以 需要 采取 和 展现 不 同 的 视角 。 最 重要 的 部 
分 就 是 理解 不 同 的 视角 。 任 意 物体 、 方 案 或 者 事件 都 有 很 多 视角 ， 只 能 在 理解 所 
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有 这 些 视角 的 情况 下 才能 描述 决策 方案 ， 方案 是 一 种 收集 到 的 对 决策 方案 给 出 详 
细 细 节 的 知识 。 方 案 信 息 构建 了 方案 ,这 包括 了 决策 目标 、 环 境 、 不 同 的 参数 和 
最 重要 的 相互 关系 以 及 行动 之 间 的 相关 性 。 独 立 的 各 个 参数 可 以 传达 不 同 的 决策 
目标 ， 而 所 有 参数 共同 构建 决策 方案 。 例 如 ， 当 在 搜索 一 些 研究 技术 时 ,背景 

案 是 应 用 程序 、 用 户 和 现状 。 执 行 算法 对 不 同 的 人 可 以 有 不 同 的 方案 ， 这 种 方案 
可 以 通过 系统 中 不 同 的 对 象 的 互相 作用 来 建立 。 图 7. 2 描述 了 通过 互相 作用 构建 
方案 。 



































图 7.2 方案 构建 


人 工 的 决策 是 典型 的 通过 不 同 资源 达成 有 效 的 决策 参数 。 这 些 人 工 智 能 帮助 
构建 决策 时 的 方案 。 此 外 ， 这 种 方案 和 其 他 信息 有 助 于 确定 决策 方案 。 在 决策 空 
间 里 不 同 的 决策 点 上 ， 这 种 视角 是 典型 的 不 同 专家 或 可 用 信息 的 观点 。 

机 带 学 习 的 一 个 多 视角 智能 框架 被 描述 在 图 7.3 中 。 根 据 环境 来 说 ， 视 角 是 
确定 的 。 数 据 获 取 和 参数 确定 源 自 视角 。 参 照 学 习 和 决策 的 策略 ， 确 定 了 决策 和 


学 习 的 影响 。 
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图 7.3 多 视角 智能 框架 
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7.3 多 视角 决策 和 多 视角 学 习 


正如 在 第 2 章 中 讨论 过 的 ， 多 视角 学 习 是 多 视角 决策 所 必需 的 。 这 里 说 的 多 
视角 学 习 指 的 是 通过 从 不 同 视角 获取 和 构建 的 知识 和 信息 来 学 习 。 多 视角 学 习 需 
要 从 不 同 的 可 能 视角 获取 信息 、 关 系 和 系统 参数 。 这 个 过 程 包 括 获 取 视 角 并 表示 
以 及 关联 这 些 不 同 视角 获取 的 数据 、 信 息 和 知识 的 方法 。 视 角 涉 及 方案 、 表 示 和 
影响 看 待 一 个 特殊 决策 问题 的 情形 。 一 个 智能 决策 者 能 获取 一 系列 的 对 象 ， 这 里 
的 假设 就 是 获取 了 每 一 个 对 象 的 全 部 特点 。 既 然 这 样 ， 就 肯定 存在 更 多 的 智能 决 
策 者 ， 每 一 个 智能 决策 者 获取 许多 对 象 ， 它 也 能 够 获取 不 同 的 视角 并 可 以 提供 不 
同 的 特点 。 这 些 顺 序 在 时 间 上 是 分 开 的 ， 并 且 不 同 的 决策 者 针对 不 同 的 系统 单 
元 。 多 决策 者 就 可 以 获取 在 特征 空间 分 离 的 主体 。 

在 图 7.4 中 ，P,，P,，…，P, 代表 不 同 的 视角 。 每 一 个 视角 被 表示 成 一 个 
功能 和 系统 尺寸 的 函数 ， 这 些 视角 在 功能 方面 是 彼此 相关 的 ， 这 些 特征 是 相关 的 
而 且 和 其 他 视角 的 特点 是 重合 的 。 两 个 视角 可 以 分 享 一 些 系 统 的 共同 部 分 。 在 一 
些 情况 下 ， 这 些 特 征 是 相同 的 ， 但 是 这 些 关 系 和 权重 可 以 变换 ， 因 此 表示 值 就 会 
不 同 。 这 些 差异 作为 系统 的 一 些 部 分 存在 ， 从 某 一 视角 看 到 的 系统 的 可 见 属 性 在 
其 他 视角 来 看 是 不 可 见 的 一 一 或 者 从 男 一 个 不 同 视 角 可 以 部 分 显现 。 正 如 先前 讨 
论 的 ， 这 表示 的 特征 集 应 该 包括 所 有 可 能 的 特征 。 
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图 7.4 多 视角 学 习 

依据 这 样 的 定义 ， 视 角 是 一 种 思想 状态 、 一 个 众所周知 的 事实 等 ， 而 且 它 有 
一 个 意义 深远 的 相互 关系 。 源 自 特 定 问 题 空 间 的 所 有 相关 数据 从 可 用 的 视角 来 看 
都 是 存在 一 种 意义 的 关联 。 
7.3.1 视角 结合 

正如 所 讨论 的 ,来 自 一 个 特定 决策 方案 的 不 同 视角 是 相关 的 ， 并 且 把 不 同 视 
角 结 合 起 来 才能 使 多 视角 学 习 成 为 可 能 ， 这 是 多 视角 学 习 的 最 具 挑战 性 的 部 分 。 
多 个 视角 的 结合 有 不 同方 法 可 以 使 用 ， 一 个 简单 的 方法 是 视角 优先 化 ， 然 后 结合 
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基于 优先 级 别 的 特点 再 结合 不 同 的 特点 。 男 一 种 方法 是 从 不 同 的 视角 得 到 的 特征 
向 量 的 加 权 和 。 表 示 关 系 不 是 通用 的 ， 而 且 总 是 和 特定 的 决策 方案 联合 在 一 起 。 
视角 可 以 参照 特定 决策 方案 进行 结合 。 在 为 一 种 有 效 的 搁 术 中 ， 一 个 以 上 的 视角 
就 是 参照 决策 方案 结合 在 一 起 的 。 这 是 用 参照 决策 方案 对 视角 和 特点 优先 化 而 完 
成 的 ， 视 角 的 排列 通常 是 参照 决策 方案 完成 的 ， 每 一 个 视角 和 特点 的 进一步 权重 
是 基于 优先 权 决 定 的 。 不 同 视角 是 用 给 定 决策 方案 的 权重 矩阵 结合 起 来 的 。 部 分 
言 息 和 它 对 决策 的 影响 应 该 被 表现 和 映射 出 来 ， 这 可 以 通过 图 形 化 的 表示 和 相关 
和 矩阵 来 实现 ， 这 些 表 现 就 在 本 节 进 行 讨论 。 


7.3.2 影响 图 和 部 分 方案 决策 表示 图 


基于 视角 的 信息 能 够 通过 不 同 的 方式 表示 ， 就 像 存在 的 条 件 关系 一 样 ， 能 够 
用 贝 叶 斯 似 然 定理 或 者 其 他 统计 方法 建 模 。 能 够 表现 为 影响 图 (ID) 或 条 件 关 
系 图 。 这 种 基于 影响 图 的 表示 能 够 帮助 鉴定 关系 并 确定 方案 。 影 响 图 是 一 种 对 决 
策 (方案 ) 情形 的 图 示 ， 也 能 有 其 他 方法 表示 决策 情形 和 关系 ， 已 经 选择 了 影 
响 图 方法 ， 因 为 它 能 帮助 最 合适 地 表示 系统 关系 ， 而 且 它 也 是 非常 简单 和 不 那么 
复杂 的 表示 方法 。 

传统 学 习 里 ， 信 息 通 常 是 从 一 个 特定 视角 表现 的 ， 但 是 在 现实 的 方案 中 有 不 
同 的 复杂 性 和 相互 依赖 性 。 即 使 一 个 简单 的 问题 也 有 很 多 可 能 的 视角 ， 一 些 视角 
是 与 目标 直接 相关 的 ， 而 其 他 的 可 能 和 目标 有 间接 的 关系 。 能 直接 来 自 目 标的 视 
角 在 分 析 思 维和 分 析 决 策 中 扮演 着 重大 角色 ， 多 视角 学 习 必 须 考 虑 不 同 的 观点 。 
男 一 个 重要 的 方面 是 决策 视角 ,决策 视角 需要 映射 给 学 习 视 角 。 

多 视角 学 习 的 基本 理念 是 从 所 有 可 能 的 视角 中 获取 系统 信息 ， 这 可 以 帮助 建 
立 整 体 的 系统 视角 。 来 自 各 种 视角 的 信息 通常 用 来 构建 方案 和 系统 知识 ， 而 这 种 
知识 用 来 高 效 决策 。 

影响 图 、 决 策 图 和 决策 树 用 来 表示 不 同 种 类 的 信息 。 影 响 图 中 非常 清晰 地 展 
示 变 量 间 的 关系 。 在 半 自 主 的 影响 图 中 相互 关系 的 可 能 性 都 表示 了。 在 第 2 章 已 
经 将 对 一 些 全 局 信息 、 未 完成 的 和 没有 信息 的 影响 图 例子 做 了 讨论 。 

事实 上 ， 在 实际 学 习 中 ， 决 策 时 已 知 所 有 信息 的 情况 是 不 可 能 的 ， 因 此 不 完 
整 信息 的 情况 是 必然 的 方案 。 在 不 完全 信息 的 情况 下 需要 塑造 和 获取 系统 的 信 
息 。 图 7.5 描绘 了 一 个 典型 不 完全 信息 的 例子 。 

影响 图 方法 特别 有 助 于 下 面 的 情况 : 

。 当 问 题 有 高 度 的 条 件 独 立 性 时 ; 

。 当 需 要 非常 大 模式 的 紧凑 表示 时 ; 

。 当 概 率 关 系 的 交流 很 重要 时 ; 

。 当 分 析 需 要 广泛 贝 叶 斯 更 新 时 。 
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图 7.5 不 完全 信息 (现实 方案 ) 


条 件 独立 性 要 求 以 一 个 更 有 效 的 决策 问题 的 方法 表达 条 件 概 率 ， 这 对 机 器 学 
习 也 是 很 重要 的 。 影 响 图 表现 了 变量 间 的 关系 ， 这 些 关 系 因为 影响 着 分 析 者 或 决 
策 者 的 系统 观点 而 很 重要 。 

总 之 ， 概 率 影 响 图 是 一 个 定向 图 网 络 而 没有 直接 循环 。 影 响 图 表示 了 特点 方 
面 的 关系 ， 这 些 特点 也 可 以 帮助 获取 知识 ， 特 点 之 间 的 关系 帮助 构建 方案 信息 。 

它 代 表 整 体 的 决策 方案 。 例 如 ， 一 个 临床 专家 可 能 评估 流行 疾病 和 诊断 试验 
的 灵敏 度 比 评估 疾病 概率 更 容易 。 在 影响 图 被 用 来 促进 评估 概率 后 ， 所 有 的 更 新 
和 贝 叶 斯 推理 都 是 被 算法 评估 自动 处 理 的 。 虽 然 对 决策 树 执 行 贝 叶 斯 更 新 有 很 多 
方法 ， 但 是 对 需要 大 量 贝 叶 斯 更 新 的 问题 ， 例 如 连续 测试 决策 ， 影 响 图 能 减轻 分 
析 员 的 负担 。 这 是 通过 减少 了 结构 里 贝 叶 斯 更 新 需求 的 复杂 方程 的 需要 。 当 这 些 
方程 被 指定 时 ， 影 响 图 也 能 减少 发 现 被 引用 的 错误 所 需要 的 时 间 。 

接 下 来 将 使 用 影响 图 表达 决策 方案 。 在 现实 方案 里 ， 影 响 图 是 对 决策 者 可 视 
部 分 系统 的 表述 ， 可 以 称 其 为 感知 的 决策 界限 。 男 外 ， 它 也 能 是 一 个 特定 视角 的 
系统 表达 。 在 现实 生活 中 ， 即 使 来 自明 显 的 视角 或 者 决策 者 的 视角 的 全 局 信息 在 
做 决策 时 也 是 不 合适 的 情况 也 总 是 有 的 。 决 策 附 属 的 有 限 信息 和 不 充分 的 信息 一 
样 会 引领 人 们 以 一 个 稍 有 不 同 的 方式 表达 决策 方案 ， 称 其 为 半 自 主 的 影响 图 
(SCID)， 也 可 以 称 为 部 分 方案 决策 表示 图 (PDSRD ) 。 

PDSRD 以 模糊 的 方式 表示 关系 。 随 着 把 越 来 越 多 的 视角 和 一 段 时 间 揭 示 的 
系统 信息 结合 在 一 起 后 ， 这 些 部 分 方案 决策 表示 图 模糊 的 关系 变 得 具体 。 图 7.6 
描绘 了 PDSRD。 

正如 所 讨论 的 ，PDSRD 表达 了 来 自 特定 视角 的 部 分 信息 和 少量 信息 。 当 明 
确 的 关系 不 可 用 时 ，PDSRD 能 用 一 些 变化 进一步 修改 从 而 表达 联系 。 图 7.7 描 
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图 7.6 PDSRD 


绘 了 PDSRD 的 大 概 情 形 。 

图 中 的 虚线 指出 了 可 能 的 关系 。 在 PDSRD 中 ,会 有 一 些 不 是 很 确定 的 关系 。 
一 些 关 系 是 模糊 的 ， 代 表 了 环节 上 的 问号 。 过 渡 概 率 对 一 些 关 系 是 已 知 的 ， 而 对 
其 他 的 是 未 知 的 。 这 有 助 于 产生 以 模糊 数值 部 分 填充 的 决策 矩阵 。 











部 分 信息 框 染 


正如 以 上 所 讨论 的 ， 全 局 的 信息 可 能 不 适用 于 不 同 的 情况 。 在 全 局 信息 和 部 
分 信息 情况 下 的 关系 和 数学 公式 表达 将 在 后 面 讨论 。 此 外 ， 需 要 在 表达 和 数学 公 
式 里 融合 一 个 或 多 个 视角 去 表达 决策 方案 。 
7.3.2.1 基于 完全 信息 的 表达 

这 里 的 完全 信息 是 指 所 有 的 系统 参数 都 是 可 利用 的 ， 这 有 助 于 确定 所 有 的 过 
渡 概 率 。 由 于 这 个 有 效 性 ， 决 策 就 变 得 更 加 容易 。 但 是 在 现实 生活 中 ， 完 全 信息 
不 是 在 任何 时 间 点 都 是 可 用 的 。 当 有 全 局 图 像 可 用 时 或 者 确定 一 个 特定 事件 或 基 


图 7.7 PDSRD 
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于 模式 的 决策 能 很 好 用 于 解决 问题 时 ， 表 示 就 是 可 以 使 用 的 。 实 际 上 ， 有 完全 信 
息 的 影响 图 是 一 种 部 分 方案 决策 表示 图 的 特殊 情形 。 因 此 部 分 方案 决策 表示 图 是 
一 种 信息 有 效 性 从 零 到 全 部 的 图 形 。 
7.3.2.2 基于 部 分 信息 的 表达 

一 般 都 是 只 有 部 分 信息 可 用 的 ， 这 样 的 部 分 信息 就 要 用 部 分 方案 决策 表示 图 
表达 。 有 很 多 来 自 不 同 视角 的 这 样 的 框架 ， 而 孤立 的 那些 不 能 指导 决策 ， 所 有 这 
些 表示 的 表征 图 形 都 是 它 所 需要 的 。 表 示 决 策 方案 图 (RDSD) 是 结合 了 不 同 
PDSRD 的 决策 方案 的 表达 。RDSD 是 多 视角 学 习 的 表示 ， 它 实际 上 是 所 有 角度 获 
取 的 知识 的 表达 。 
7.3.2.3 单 视 角 决 策 方案 图 

PDSRD 通常 是 用 来 表达 决策 方案 是 单 视角 的 影响 图 。 过 渡 和 图 形 里 相关 那 
些 转换 的 概率 表达 了 决策 者 的 视角 。 其 至 概率 影响 图 能 被 看 作 单 一 视角 的 决策 方 
案 图 (DSD)。 
7.3.2.4 双重 视角 决策 方案 图 

为 了 突破 单 视角 决策 方案 图 的 限制 ， 给 出 了 双重 视角 决策 方案 图 的 信息 。 在 
一 个 单一 图 形 里 ， 有 两 个 概率 和 基于 表达 视角 的 转换 模型 。 双 重视 角 影 响 图 有 助 
于 表达 一 些 两 个 视角 能 履 盖 的 系统 和 决策 空间 的 大 部 分 不 那么 复杂 的 问题 ， 它 仍 
然 能 处 理 大 部 分 程序 并 表达 决策 问题 的 大 部 分 。 
7.3.2.5 多 视角 表示 决策 方案 图 

正如 实际 的 复杂 问题 里 有 很 多 可 能 的 视角 ， 考 虑 这 些 视角 后 需要 做 出 决策 ， 
因此 需要 对 多 视角 决策 问题 表达 和 解决 类 似 的 问题 。 正 如 在 之 前 的 章节 所 讨论 过 
的 ，PDSRD 表达 了 不 同 的 视角 ， 其 中 一 个 单独 的 PDSRD 表达 了 一 个 特定 的 视 
角 。 每 一 个 视角 都 有 一 个 PDPSRD， 这 些 PDSRD 用 来 构建 一 个 特定 决策 方案 的 
RDSD。RDSD 用 来 做 出 决策 并 准许 多 视角 决策 ， 这 是 典型 的 一 个 所 有 PDSRD 的 
表达 图 形 。 在 缺少 属于 特定 视角 下 的 知识 情况 下 ，RDSD 将 不 会 表示 特定 的 视 
角 。 越 来 越 多 的 关于 视角 的 信息 被 并 入 到 RDSD 里 ， 因 此 DSD 表达 了 决策 方案 
的 最 佳 观点 。 


7.3.3 表示 决策 方案 图 (RDSD ) 


不 同 的 PDSRD 代表 了 不 同 的 视角 和 该 视角 里 特点 的 相互 关系 。 任 何 的 系统 
或 甚至 一 个 决策 问题 都 能 有 很 多 PDSRD。 它 们 中 的 每 一 个 代表 了 一 个 特定 的 视 
角 。 任 何 决策 方案 都 需要 决策 和 学 习 的 特征 的 数量 信息 ， 这 些 特征 的 相关 性 增加 
了 这 些 特征 的 重要 性 。 所 有 这 些 特点 在 单一 视角 下 是 无 效 的 ， 但 是 一 个 代表 性 的 
决策 图 结合 了 所 有 相关 这 个 决策 方案 的 PDSRD 并 提供 了 所 有 相关 特点 以 最 佳 值 。 
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7.3.4 范例 ， 部 分 方案 决策 表示 图 (PDSRD) 表示 的 不 同 视 角 获 取 
的 城市 信息 


这 里 讨论 一 个 例子 ， 其 中 城市 信息 的 不 同 视 角 是 适合 不 同 决策 者 主体 的 ， 
PDSRD 1 ~ PDSRD 3 表示 了 它 。 
7.3.4.1 PDSRD 1 

它 提供 了 旅行 社 对 城市 和 他 们 的 旅行 的 视角 。 它 也 包括 了 环绕 这 个 城市 区 域 
的 信息 ， 以 及 旅行 工具 和 城市 里 的 宾馆 信息 。 

言 息 : 旅行 安排 、 旅 游 景 点 、 成 本 、 市 场 、 出 租车 服务 和 附近 位 置 。 
7.3.4.2 PDSRD 2 

它 提供 了 积极 参加 这 些 活动 的 社会 政治 组 织 的 一 些 成 员 的 视角 。 它 提供 了 政 
客 对 城市 的 视角 ， 还 提供 了 关于 人 其 他 社会 以 及 政治 方面 的 城市 与 区 域 信息 。 

信息 : 人 、 政 治 背景 、 宗 教 、 社 区 、 社 会 环境 、 社 会 要 素 和 政治 意义 。 
7.3.4.3 PDSRD 3 

它 提供 了 文化 专家 和 历史 学 家 的 视角 。 它 包括 人 文 的 ， 也 就 是 历史 学 家 对 城 
市 的 视角 ， 因 此 它 包括 古迹 信息 和 城市 的 历史 意义 。 城 市 文化 层面 的 信息 也 是 被 
包括 的 。 

信息 : 历史 古迹 、 文 化 层面 、 这 个 地 方 的 历史 意义 。 

考虑 以 下 决策 方案 : 

决策 方案 : 一 组 人 想 要 决定 是 否 去 参观 这 个 城市 或 者 这 个 国家 的 一 部 分 ， 考 
虑 到 他 们 对 食物 的 兴趣 并 研究 这 个 国家 的 历史 。 

RDSD: 会 把 三 个 关于 决策 方案 的 视角 结合 起 来 ， 而 来 自 历史 学 家 和 旅行 社 
的 信息 将 占据 更 大 的 份量 。 此 外 ， 这 些 视角 的 每 一 个 都 将 诚实 地 给 出 不 同方 面 ， 
而 这 些 方面 的 结合 将 构建 这 个 RDSD。 

RDSD 将 包含 以 下 信息 : 1 人 ， 行程 安排 ,政治 背景 ,领袖 ， 设 施 ， 宾 馆 ， 
出 租车 服务 ， 旅 游 景 点 ,公园 ， 参 观 景 点 ,历史 古迹 | 。 特 征 的 优先 顺序 将 取决 
于 决策 方案 。 如 果 信 息 有 多 个 源头 ， 那 么 即便 是 源头 也 会 对 特殊 特征 关联 的 重要 
性 有 贡献 。 

图 7. 8 描述 了 一 个 累积 学 习 的 类 似 概念 。 这 里 的 方案 是 通过 不 同 的 视角 构建 
的 ， 如 功能 、 学 科 知 识 、 理 论 概 念 和 核心 竞争 力 。 全 部 的 方案 和 所 有 这 些 参数 用 
于 决策 。 

一 个 学 习 系 统 的 典型 的 多 视角 视图 如 图 7. 9 所 示 。 在 一 个 学 习 系 统 里 ， 有 学 
生 视 角 、 父 母 视 角 、 老 师 视 角 和 其 他 教育 官员 的 视角 。 多 视角 学 习 考 虑 了 所 有 这 
些 视 角 。 这 样 做 输入 了 不 同 的 资源 ， 如 考虑 了 技术 体系 、 个 人 体系 和 组 织 体系 。 

全 局 系统 学 习 利 用 了 来 自 所 有 源头 的 信息 。 社 会 /组 织 方案 的 全 局 系统 学 习 
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父母 视角 ”老师 物 角 ee 
图 7.9 学 习 系 统 的 多 视角 视图 
如 图 7. 10 所 示 ， 这 其 至 能 映射 到 全 局 系统 机 器 学 习 上 。 这 里 的 信息 代表 了 先前 
学 到 的 模式 和 数据 库 中 存储 的 数据 ， 信 息 交 换 允 许 源 自 不 同 来 源 的 信息 结合 去 构 
建 知识 。 这 信息 用 于 预测 预报 , 行为 用 来 探索 ， 而 奖惩 用 于 学 习 。 


存储 数据 (学 
习 过 的 模式 ) 








图 7. 10 ”社会 方案 的 全 局 系统 学 习 
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信息 来 源 于 不 同形 式 和 不 同 的 来 源 。 信 息 可 以 从 历史 经 验 〈 各 种 智能 决策 
者 获取 可 用 信息 给 他 们 )、 和 形象 (可 见 或 直接 可 导 的 信息 ) 和 行动 (通过 探索 得 
来 的 信息 ) 存储 成 数据 ， 所 有 这 些 活动 和 资源 使 学 习 成 为 可 能 。 那 是 一 个 重复 
的 、 协 作 的 、 创 新 的 和 集体 的 学 习 系 统 ， 它 是 这 样 工作 的 : 中 信息 从 环境 、 系 统 
和 世界 中 获取 成 不 同 的 形式 。@ 方 案 和 相关 特殊 概念 或 疑问 的 决策 问题 用 来 构建 
决策 方案 。 在 这 里 ， 不 同 的 视角 和 信息 由 全 局 系统 的 不 同 部 分 共享 ， 决 策 方 案 的 
智能 决策 者 感知 它们 。 信 息 的 交流 和 映射 会 带 来 新 的 信息 、 理 解 、 关 系 和 可 能 
性 。 这 是 在 系统 和 环境 的 不 同 组 成 部 分 ， 智 能 决策 者 和 他 们 的 视角 之 间 有 较 大 意 
义 的 背景 下 获取 的 。 包 他们 被 激发 去 创造 一 个 新 的 集体 方案 或 者 组 合 的 视角 ， 它 
包括 了 相关 决策 方案 中 最 重要 的 。 昌 他们 决定 权重 视角 ， 优 先 化 观点 ， 而 且 不 久 
去 领会 现实 中 能 解决 手边 关于 决策 方案 的 问题 所 要 采取 实际 行动 的 全 局 系统 方 
案 。 随 着 决策 者 的 继续 探索 和 他 们 经 历 实际 发 生 影响 他 们 的 决策 和 行动 ， 他 们 将 
审查 那些 结果 并 以 奖惩 的 方式 学 习 ， 并 且 这 会 成 为 一 个 保存 在 知识 库 和 在 今后 类 
似 的 决策 方案 中 使 用 的 新 的 学 习 和 信息 的 数据 点 。 从 决策 框架 ， 学习 策 略 和 信 
息 、 新 问题 和 联合 的 决策 方案 ， 从 一 个 智能 决策 者 出 现 并 结合 起 来 去 解决 先前 学 
习 中 的 瑕 辛 ， 这 样 循环 继续 着 适应 性 的 和 多 视角 的 学 习 。 在 这 里 ， 所 有 可 能 的 视 
角 都 和 所 有 的 可 能 信息 一 起 考虑 到 用 来 高 效 学 习 ， 这 真正 的 有 助 于 在 学 习 时 构建 
全 局 系统 的 理解 去 考虑 所 有 方面 。 

为 了 产生 全 局 系统 的 人 工 智能 、 为 了 由 全 局 系统 生产 人 工 智 能 、 为 了 对 全 局 
系统 生成 人 工 智能 ， 所 有 系统 的 部 分 都 需要 清晰 的 决策 方案 。 在 多 视角 学 习 中 ， 
所 有 不 同 可 能 的 视角 都 会 根据 决策 方案 测试 。 人 工 智 能 是 用 来 自 不 同 视角 的 信息 
建立 的 ， 在 循环 的 每 一 个 阶段 ， 不 同 的 部 分 和 参数 之 间 都 有 不 同 的 关系 。 从 不 同 
视角 观测 到 的 关系 都 被 保存 并 且 会 建立 知识 库 。 不 同 视角 的 观点 和 信息 都 会 由 不 
同 的 信息 来 源 展现 。 

在 一 个 典型 的 案例 中 ， 这 些 来 源 都 是 不 同 的 智能 决策 者 。 在 学 习 阶 段 ， 信 息 
是 参照 决策 方案 分 享 和 侧重 的 。 这 些 信息 包括 事件 信息 、 不 同 参数 知识 、 连 同行 
为 的 不 同 决策 结果 、 模 式 和 历史 视角 。 这 些 不 同 视角 需要 结合 在 一 起 去 构建 整体 
的 决策 方案 。 由 于 信息 在 时 间 上 是 有 效 的 而 且 甚 至 发 现 了 新 视角 ， 所 以 它 是 一 个 
持续 的 过 程 。 这 种 学 习 是 协调 进行 的 ， 视 觉 是 可 以 直接 从 数据 得 到 的 信息 ， 行 为 
则 是 来 源 于 探索 的 信息 ， 行 为 和 视觉 信息 来 自 不 同 的 智能 决策 者 或 者 信息 来 源 ， 
进行 往复 的 、 集 体 的 和 协作 的 学 习 去 构建 基于 信息 的 典型 视角 。 为 了 多 角度 机 咒 
学 习 ， 全 局 系统 学 习 也 需要 是 往复 的 、 协 作 的 、 创 新 的 、 集 体 的 学 习 循 环 。 往 复 
的 意思 是 要 根据 已 有 知识 持续 构建 知识 ， 并 且 根据 新 的 探索 事实 重 访 数据 库 。 集 
体 的 和 协作 的 就 是 指 要 考虑 多 视角 ， 因 此 多 个 决策 者 要 协调 合作 才能 使 所 有 的 参 
数 得 以 利用 和 高 效 更 新 。 每 一 个 协作 的 多 视角 学 习 阶 段 都 有 助 于 构建 能 作为 一 个 
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多 视角 决策 方案 被 表示 的 整体 方案 。 视 角 是 和 信息 流程 和 知识 建构 联系 在 一 起 
的 ,信息 流动 在 任何 给 定 的 数据 池 中 (数据库) 。 多 视角 学 习 就 是 以 获取 这 些 信 
息 和 构建 基于 这 些 信息 的 学 习 参 数 为 基础 的 。 多 视角 和 全 局 系统 的 学 习 产 生 的 学 
习 策 略 将 在 后 面 详 述 。 协 作 的 智力 有 助 于 聚集 智能 决策 者 ， 他 们 能 获取 不 同 的 视 
角 给 系统 决策 方案 ,但 是 存在 很 多 挑战 ， 比 如 : 

。 集体 学 习 构建 和 表示 决策 与 学 习 方案 是 一 个 复杂 的 过 程 。 

。 决策 过 程 一 般 需 要 由 一 个 智能 决策 者 主导 ,还 要 有 能 给 出 合适 的 优先 次 
序 的 能 力 或 者 算法 ， 并 且 能 衡量 不 同 的 视角 哪个 是 困难 的 任务 。 

。 在 协作 的 决策 方案 里 建立 的 知识 的 利用 和 新 方案 的 探索 之 间 的 平衡 随 着 
视角 增加 而 变 得 更 复杂 。 

。 广义 的 模型 缺乏 视角 的 考虑 和 对 必需 的 深度 的 效果 。 

根据 以 上 观察 报告 ， 当 系统 和 协作 学 习 用 不 同 程序 时 ， 将 尝试 在 多 视角 下 探 
索 传 统 技术 。 对 任何 结构 ， 都 需要 不 同 的 视角 去 理解 全 局 的 三 维 结构 视角 而 且 没 
有 学 习 是 不 全 局 的 。 对 于 安全 应 用 、 商 业 决 策 、 图 像 认 证 和 健康 评估 是 一 样 的 ， 
都 有 很 多 的 视角 ， 而 全 局 学 习 系 统 需 要 考虑 所 有 这 些 视 角 并 且 要 充分 利用 所 有 有 
效 的 系统 参数 。 














7.4 全 局 系统 性 学 习 和 多 视角 途径 


正如 之 前 所 讨论 的 ， 学 习 涉 及 全 局 系统 。 在 学 习 时 ， 不 是 看 待 一 个 特定 的 系 
统 部 分 。 而 且 全 局 系统 学 习 是 高 效 利用 参数 、 关 于 全 局 系统 的 经 验 和 在 系统 各 种 
模块 的 可 用 信息 。 它 不 仅 是 关于 信息 利用 ， 更 多 是 关于 决定 基于 全 局 系统 的 学 习 
方针 和 方法 。 它 不 仅 是 一 个 输出 值 ， 更 是 一 种 多 联系 的 思考 。 它 可 以 看 作 信息 的 
多 个 源头 为 手边 问题 规定 的 特定 决策 方案 而 优化 组 合 在 一 起 ， 这 考虑 了 系统 的 所 
有 部 分 ， 每 一 部 分 的 个 体 行为 和 它们 作为 一 个 单元 的 行为 。 全 局 系统 学 习 发 生 在 
系统 的 不 同 层面 ， 全 局 系统 学 习 的 最 重要 部 分 就 是 决策 参数 的 定期 评估 ， 这 涉及 
了 信息 源 和 多 个 决策 者 间 协 作 学 习 的 合作 。 全 局 系统 学 习 是 要 访问 更 多 的 相关 信 
息 并 且 更 加 明智 地 利用 ， 出 自 不 同 来 源 的 信息 综合 起 来 使 全 局 系统 可 视 化。 通常 
在 学 习 时 ， 只 是 信息 的 一 些 部 分 和 系统 的 一 个 特定 部 分 在 起 作用 ， 全 局 系统 学 习 
会 利用 系统 的 每 一 部 分 和 每 一 点 信息 ， 这 其 至 可 以 用 一 组 智能 决策 者 描述 ， 他 们 
从 系统 的 不 同 部 分 获取 信息 并 且 这 些 信 息 有 效 地 用 在 学 习 上 。 这 里 将 讨论 粗糙 集 
和 一 些 其 他 能 用 来 解决 这 些 复杂 问题 的 算法 。 

全 局 系统 机 咒 学 习 就 是 要 利用 和 考虑 直接 性 经 验 和 专门 知识 之 外 的 信息 。 被 
多 个 智能 决策 者 有 效 利 用 的 视角 和 信息 使 全 局 系统 机 器 学 习 成 为 可 能 。 全 局 系统 
的 参数 用 于 学 习 ， 全 局 系统 项 目 会 被 跟踪 然后 模型 之 间 的 关系 能 利用 在 学 习 上 。 
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图 7. 11 表现 了 全 局 系统 机 噩 学 习 的 样子 。 
模式 1 












相关 模式 





图 7.11 全 局 系统 事件 跟踪 


7.4.1 分 散 信息 整合 


全 局 系统 学 习 的 主要 障碍 是 信息 零碎 。 信 息 都 是 碎片 式 的 ， 因 此 很 难 构建 全 
局 系统 并 有 效 利 用 全 部 信息 。 实 际 上 在 全 局 系统 学 习 中 ， 一 个 重要 的 方面 就 是 处 
理 碎 片 信息 。 要 做 出 很 多 努力 去 理解 碎片 信息 。 


7.4.2 多 视角 和 全 局 系统 知识 表示 


“复杂 的 而 又 不 完善 的 知识 有 很 多 方面 必须 被 掌握 ， 并 且 很 多 种 用 途 必须 得 
以 应 用 。 多 数 之 前 观察 过 的 失败 学 习 的 共同 之 处 是 过 于 简单 ， 一 系列 过 分 简单 化 
就 是 仅 从 一 个 视角 去 观察 概念 或 现象 或 者 案例 。 在 一 个 不 完善 的 领域 ， 单 一 视角 
讲 错失 概念 理解 的 重要 方面 ， 实 际 上 可 能 会 误导 关于 一 些 更 多 的 理解 方面 ， 而 且 
将 对 知识 必须 适用 于 新 情况 的 变化 说 明 很 少 。 相 反 ， 必 须 在 考虑 中 用 多 个 表示 原 
则 处 理 所 有 的 先前 学 习 和 说 明 的 所 有 元 素 ”'']。 

正如 之 前 讨论 过 的 ， 知 识 表 示 可 以 在 决策 矩阵 中 实现 。 这 就 是 表示 影响 图 ， 
但 它 不 是 以 一 个 特定 的 决策 视角 ， 而 且 因 为 所 有 的 视角 都 带 来 一 样 的 权重 ， 所 以 
全 部 的 系统 都 能 表示 为 一 个 和 矩阵。 


7.4.3 什么 是 多 视角 方案 ? 


多 视角 学 习 要 考虑 多 个 观点 ， 它 包括 多 种 观点 、 表 示 方 法 、 活 动 和 系统 范围 
内 的 作用 。 在 协作 的 和 非 协作 的 方案 内 都 要 考虑 这 些 作 用 。 

视角 是 决策 方案 的 一 个 功能 。 在 商业 方案 下 ， 优 化 、 利 益 、 员 工 福利 等 都 可 
以 作为 视角 。 类 伏地， 对 于 网 络 和 分 布 系统 ， 视 角 可 以 包括 负载 分 享 、 安 全 、 适 
应 性 、 增 量 生 长 和 可 扩展 性 。 

这 些 决 策 视角 也 取决 于 智能 决策 者 的 观点 和 智 
的 智能 决策 者 获取 不 同 的 视角 和 不 同 的 参数 。 这 些 
策 者 视角 。 














能 决策 者 可 利用 的 信息 。 不 同 
参数 和 有 效 信息 有 助 于 智能 决 
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7.4.4 特定 方案 


多 视角 不 一 定 完全 符合 决策 方案 ， 特 定 的 决策 方案 定义 方案 、 环 境 和 决策 目 
标 ， 每 一 个 视角 的 关系 都 有 助 于 信息 优化 和 为 决策 方案 构建 表示 决策 矩阵 。 图 
7. 12 描绘 了 决策 的 多 视角 模型 。 


方案 条 件 变 量 | 视角 1 的 数据 
































视角 2 的 数据 


视角 的 数据 











数据 存储 




















| 粗粮 集 0 





知识 库 和 决 
策 支 


有 











图 7.12 决策 多 视角 模型 
7.4.4.1 粗糙 集 : 一 个 途径 
多 视角 途径 允许 从 不 止 一 个 视角 构建 知识 ， 这 肯定 会 改善 决策 进程 。 更 
重要 的 是 ， 它 准许 利用 相关 信息 决策 。 

。 这 增加 了 复杂 性 ， 因 此 为 了 高 效 利 用 信息 进行 决策 ， 考 虑 决策 方案 是 非 
常 重要 的 。 没 有 方案 的 普通 视角 是 不 关联 特点 决策 方案 的 ， 因 此 判别 正确 的 方案 
并 在 决策 时 充分 利用 是 很 重要 的 。 

。 遗漏 值 和 局 部 信息 的 情况 在 决策 方案 中 能 够 更 加 高 效 的 得 以 利用 。 

。 粗粮 集 理论 可 以 被 用 来 判定 遗漏 值 。 

由 此 ， 一 个 集 就 是 相关 事情 的 集合 。 有 了 时候 这 种 关系 的 性 质 在 这 些 定义 中 是 
没有 规定 的 ， 然 而 在 不 精确 数据 的 情况 下 可 以 利用 粗糙 集 。 附 录 A 中 详细 地 讨 
论 了 粗糙 集 。 





7.5 基于 多 视角 途径 的 案例 研究 


在 本 节 ， 将 讨论 一 些 多 视角 途径 的 研究 案例 以 更 好 地 理解 。 


Wm 
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7.5.1 交通 控制 器 用 多 视角 途径 


图 7. 13 描绘 了 交通 控制 需 用 的 多 视角 途径 。 在 这 里 ,任务 、 法 律 法 规 、 工 
程 设 计 和 事件 是 主要 的 参数 和 不 同 的 视角 ， 例 如 用 户 视角 、 法 律 视 角 和 生态 视 
角 。 所 有 这 些 相关 参数 的 视角 构建 了 全 局 的 系统 视图 





oO 



















力学 定律 、 运 动 定律 等 





交通 信号 及 重合 
球道 仪 (高 速 公 路 ) 
交通 量 

拥堵 
污染 和 燃料 燃烧 

















图 7.13 交通 控制 咒 用 多 视角 途径 





任务 包括 : 

。 交通 信号 及 重奏 ; 

。 古道 仪 (高 速 公路 ); 

。 交通 量 ; 

。 拥堵 ; 

。 污染 和 燃料 燃烧 。 

在 不 同 的 路 段 有 不 同 的 交通 密度 。 使 用 者 视角 的 宗旨 就 是 等 待 时 间 最 少 或 者 


不 需要 等 待 。 从 生态 学 视角 看 则 是 污染 最 少 ， 而 从 法 律 视角 看 是 交通 流畅 并 遵守 
规则 。 


面板 ; 
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控制 器 〈 策 略 的 ) 一 大 局 ; 

控制 器 〈 监 督 的 ) 一 信号 控制 器 〈 局 部 ) 。 

定律 : 

力学 定律 ; 

电流 的 般 入 式 基 尔 霍 夫 定 律 ; 

电流 的 交叉 平行 法 则 。 

逻辑 : 

梯形 图 (电气 模型 ) ; 

事务 处 理 〈 状 态 机 ) ; 

转化 〈 舱 入 法 或 仿真 ) ; 

程式 编程 (软件 /硬件 或 集合 ) ; 

古道 仪 控 〈 清 障 ) 。 

所 有 这 些 参数 构建 了 全 局 的 参数 组 。 参 照 一 个 特定 的 视角 ， 一 些 参数 很 重要 
而 其 他 的 就 不 那么 重要 。 这 些 参数 在 决策 方案 中 的 有 效 利 用 能 用 于 全 局 系统 多 视 
角 学 习 。 


7.5.2 情感 检测 用 多 视角 途径 模型 


考虑 到 情感 是 交流 的 方式 ， 人 机 接口 需要 更 加 自然 ， 也 就 是 在 人 际 互动 上 更 
有 效 ， 人 际 交 流 时 的 信息 传输 不 仅 是 通过 词语 的 语义 内 容 也 通过 面部 表情 和 手势 
的 情感 信号 ， 这 些 形成 了 基本 的 单 视角 途径 。 这 样 在 人 机 交互 系统 里 ， 人 情感 识别 
系统 通过 适 配 他 们 的 情绪 以 提供 给 用 户 更 好 的 服务 。 

在 现实 方案 中 ， 视 角 和 数据 的 实际 需求 是 不 断 变 化 的 。 清 楚 数据 和 特定 方案 
的 真实 关联 不 是 容易 的 ， 必 须 考 虑 用 户 的 希望 和 需要 以 及 潜在 的 物理 上 和 社会 上 
的 情景 。 量 化 单 视角 系统 表现 的 目的 就 是 识别 这 些 方法 的 优 缺 点 并 比较 不 同 的 方 
法 从 而 融合 这 些 不 同 的 形式 以 增加 系统 的 整体 识别 率 。 

如 果 仅 基于 表情 或 者 手势 判断 一 个 人 的 情感 ， 即 便 得 到 了 相应 情感 的 一 些 想 
法 ,但 它 也 不 会 总 是 精确 的 。 然 而 ， 通 过 从 不 多 种 视角 观察 情感 检测 的 主题 并 考 
虑 累积 结果 ， 必 然 能 够 得 到 一 个 更 加 精准 的 情感 判别 结果 。 
7.5.2.1 背景 理解 

在 大 多 数 识别 练习 中 ， 背 景 理 解 有 助 于 提供 引导 识别 精度 的 线索 。 这 些 线索 
通过 人 的 情感 背景 提供 给 我 们 。 例 如 ， 当 一 个 人 回 的 时 候 ， 所 有 的 检测 技术 将 会 
告知 你 那个 人 在 黑 泣 。 但 是 由 机 器 确定 这 个 人 是 出 于 幸福 还 是 真正 的 悲伤 而 丑 江 
就 很 困难 ， 因 此 这 就 是 情形 背景 要 进入 的 地 方 。 人 的 背景 能 涉及 环境 背景 、 情 感 
背景 、 社 会 背景 甚至 在 实验 中 人 的 情绪 背景 (视角 ) 。 

根据 情景 ， 值 得 一 提 的 是 鉴于 能 判断 他 们 当前 情感 或 反应 ， 一 个 人 的 情绪 形 
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成 了 基础 背景 。 它 是 一 个 必须 被 观察 和 考虑 以 提高 理解 质量 的 特殊 背景 。 

在 Righart 和 de Gelder 的 研究 中 ， 呈 现 了 描绘 快乐 、 铠 惧 和 自然 表情 的 
面部 图 像 的 参与 者 与 不 同 的 适合 同样 的 三 个 类 别 中 的 一 个 的 环境 背景 进行 配对 。 
这 项 研究 证 实 了 如 下 观点 : 环境 背景 和 视觉 提示 能 够 加 强 面部 表情 的 识别 ， 同 样 
的 ， 当 在 一 个 相同 的 情绪 背景 下 一 个 背景 图 匹配 了 语气 和 表现 在 脸 上 的 情绪 表情 
时 ， 面 部 表情 会 更 快 的 被 识别 。 

同样 ， 也 观察 了 社会 方案 背景 的 效果 。 当 方案 中 的 行为 表达 了 和 目标 人 物 的 
身体 表达 一 致 的 情感 时 ， 身 体 表 达 会 识别 得 更 好 。 情 景 中 面部 表情 的 具体 影响 取 
决 于 情感 表达 ， 但 未 必 会 增加 一 致 的 效果 。 总 的 来 说 就 是 ， 结 果 表 明 社会 背景 影 
响 了 对 一 个 人 身体 表达 的 识别 。 
7.5.2.2 情感 检测 的 不 同方 法 

情感 对 人 性 的 各 种 层面 都 有 深刻 的 影响 。 因 此 ， 判 断 一 个 人 的 感受 和 尺度 需 
要 考虑 很 多 人 参数。 这 些 属 性 是 : 面部 表情 、 手 势 、 身 体 信号 和 语音 。 

1. 使 用 语音 (音频 数据 ) 

情感 研究 的 原理 与 人 机 交互 相关 的 是 要 建立 一 部 机 器 以 更 自然 和 高 效 的 方式 
服务 于 用 户 的 需求 。 检 定语 音 中 的 情感 能 做 的 工作 相当 有 限 ， 目 前 研究 人 员 仍 然 
争论 着 什么 特征 影响 着 语音 中 情感 的 识别 。 

在 以 语音 检测 情感 中 面 对 的 主要 挑战 之 一 是 系统 不 得 不 独立 于 发 言 人 工作 。 
仅 是 由 于 人 声音 的 变化 ， 所 以 这 些 语音 的 特征 仍然 被 研究 以 对 情感 状态 信息 最 大 
化 编码 。 

情感 影响 了 很 多 人 类 语音 反射 的 参数 。Bizinger 论证 出 关于 音 高 的 统计 传达 
了 关于 情感 状态 的 重大 信息 。 音 高 值 ， 不 管 怎样 ， 展 示 了 发 言 者 之 间 大 量 的 变 
化 。 因 此 ， 类 似 音 高 的 输入 参数 在 使 用 前 必须 标准 化 。 这 种 标准 化 的 实现 是 通过 
构建 一 个 每 一 个 属性 的 累积 直方 图 ， 构 造 正 态 分 布 和 映射 每 一 个 个 体 的 声音 到 这 
个 直方 图 里 。 

男 一 个 使 用 的 参数 是 倒 谱 系数 (MFCC)。 在 音频 处 理 中 ， 倒 频谱 (MFC) 
是 短期 音频 功率 谱 的 表示 。 因 此 MFCC 作为 语音 特征 使 用 而 独立 于 发 言 者 和 他 的 
性 别 。MFCC 是 使 用 最 广泛 的 语音 频谱 表示 。Kim 等 人 论证 得 出 关于 频谱 系数 的 
统计 也 带 来 了 情感 信息 14]。 

可 能 的 系统 包括 了 四 个 主要 步 又: 

1) 语音 采集 ; 

2) 在 每 一 个 时 间 尺 度 上 提取 特征 ; 

3) 对 每 一 个 特征 集 进 行 机 器 学 习 ， 包 括 使 用 K 聚 类 算法 ; 

4) 信息 融合 以 合并 信息 。 

然而 ， 当 把 语音 作为 情感 检测 的 基础 考虑 时 ， 需 要 考虑 很 多 意外 以 避免 不 正 
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确 的 解释 。 例 如 : 词汇 “scheduled” 会 被 美国 人 和 英国 人 以 不 同方 式 发 音 。 
此 ， 一 个 人 的 口音 极 大 影响 了 语音 的 语音 编码 。 与 此 相关 ， 从 语音 中 的 重音 或 讽 
刺 判 断 的 语音 信息 不 是 必然 一 致 或 准确 的 。 

弓 良 置疑， 音频 源 通 常 容易 受 外 部 环境 的 干扰 〈 也 就 是 噪声 ) 。 而 且 ， 生 物 
变化 因为 每 一 个 个 体 的 声音 性 质 是 很 难 清晰 地 描述 或 显示 的 。 另 外 ， 适 时 改变 及 
离 了 甚至 是 同一 个 体 在 不 同时 间 的 标准 。 例 如 ， 一 个 患 感冒 或 流感 的 人 会 在 他 或 
者 她 生病 之 前 、 期 间或 者 之 后 显示 不 同 的 调整 。 单 独 地 基于 语音 理解 他 或 者 她 的 
情感 状态 会 导致 和 其 他 视角 比较 时 有 不 完整 的 或 者 不 连续 的 结 

2. 使 用 面部 表情 (输入 的 视觉 信息 ) 

在 所 有 生物 中 ， 特 别 是 我 们 人 类 ， 面 部 表情 是 强大 的 交流 工具 。 考 虑 到 这 
点 ， 在 收集 一 个 人 想 要 和 我 们 交流 的 信息 时 ， 视角 就 是 一 个 至 关 重 要 的 部 分 。 

一 个 独特 表情 导致 了 每 一 个 独特 的 情绪 感受 。 人 类 存在 着 20 多 块 不 同 的 面 
部 肌肉 ， 面 部 表情 的 实质 是 当 以 不 同 的 方式 和 组 合 控制 时 ， 面 部 肌肉 执行 了 看 似 
简单 的 任务 表达 着 快乐 、 翡 伤 、 人 愤怒 和 其 他 几 种 感情 。 

在 研究 面部 表情 时 ， 考 虑 了 一 些 特别 的 关注 区 域 ， 它 们 是 眉毛 、 眼 睛 、 嘴 部 
区 域 、 鼻 子 和 下 巴 。 当 分 解 一 个 表情 时 ， 要 考虑 每 一 个 关注 区 域 并 分 析 预 期 的 变 
化 以 描绘 或 识别 一 种 特别 情感 。 对 每 一 个 这 些 区 域 ， 情 感 或 表情 以 脱离 一 个 中 立 
的 形式 描绘 给 系统 。 

一 个 显然 要 考虑 的 参数 就 是 面部 表情 的 地 理 差异 , 像 眼睛 、 嘴 、 鼻 子 等 。 
例如 ， 出 身 东 亚 的 人 有 显著 的 细 长 眼 、 小 鼻子 和 其 他 可 识别 的 不 同 特征 。 不 管 
识别 面部 表情 的 方法 有 和 多么 综合 ， 为 了 结果 更 加 精确 还 是 必需 一 定 的 个 性 化 程 
度 的 。 而 且 ， 事 故 引起 了 容貌 变形 甚至 麻痹 将 会 影响 输入 系统 的 数据 ， 并 因此 
导致 不 连续 的 结果 。 这 甚至 可 能 是 因为 药物 治疗 或 在 观察 下 主体 的 药物 滥用 引 
起 的 。 

不 言 而 喻 ， 面 部 表情 在 交流 中 起 着 重要 作用 。 视 觉 信息 不 仅 能 确认 或 否定 从 
其 他 视角 获得 的 信息 ， 而 且 视 觉 知识 对 于 感知 到 了 什么 能 够 充分 地 给 出 合理 结 
论 。 此 外 ， 至 于 关注 的 情感 ， 面 部 表情 很 少 会 与 这 个 人 的 实际 感受 矛盾 。 当 这 种 
情况 发 生 时 ， 当 事主 体 通 常 是 在 撒谎 并 且 非 常 擅长 这 样 做 ， 这 就 必需 咨询 其 他 视 
角 以 更 加 审慎 地 判断 。 

3. 使 用 手势 

手势 形成 了 人 们 交流 中 一 个 非常 有 表现 力 的 部 分 。 在 不 间断 的 谈话 或 者 交流 
中 ， 变 化 的 手势 和 上 肢体 语言 比 实际 的 话语 说 明 得 更 多 。 例 如 ， 通 常 大 多 数 人 当 他 
们 焦躁 或 者 紧张 时 会 摆弄 他 们 的 手 或 者 敲 击 他 们 的 脚 。 但 是 用 手势 的 这 种 方法 有 
问题 ， 例 如 地 区 文化 传统 和 无 意识 的 个 人 习惯 。 因 此 需要 一 个 完全 分 析 以 得 出 更 
加 精确 的 结论 。 
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这 种 方法 的 主要 问题 是 对 一 些 手势 的 错误 理解 。 例 如 ， 按 照 标准 ， 一 个 人 可 
能 因为 他 胜 膊 的 位 置 而 被 分 析 为 紧张 ,但 这 种 情况 可 能 是 他 只 是 因为 社会 和 文化 
因素 习惯 了 这 样 做 。 另 外 ， 生 物 扭 曲 在 妨碍 情感 检测 和 识别 的 进程 中 起 了 主要 作 
用 。 这 样 一 个 手势 错误 推 呆 的 更 大 边缘 可 能 是 由 于 方案 不 足 。 

4. 用 生物 信号 

这 是 一 个 自然 现象 : 一 种 情感 比如 欢乐 是 有 系统 地 和 增长 的 体温 、 心 率 加 
速 、 喉 吡 异 物 感 和 一 些 肌 肉 症 状 关 联 在 一 起 的 。 同 样 地 ， 人 愤怒 是 被 体温 更 急速 的 
增长 、 心 率 、 汗 水 、 呼 吸 速率 和 肌肉 张力 标记 的 。 同 样 ， 翡 伤 是 和 更 少 的 身体 感 
知 关联 在 一 起 的 ， 主 要 是 在 胃 部 和 哈 部 区 域 。 这 样 ， 这 些 变 化 可 以 记录 下 来 并 用 
于 根据 已 经 得 到 的 数据 识别 相关 情感 。 

许多 监控 机 制 存 在 于 医院 (例如 心电图 、 脑 电 图 、 肌 电 图 、 边 值 问 题 等 )， 
它们 告诉 了 身体 支撑 情感 而 做 出 的 反应 。 这 些 机 制 用 于 更 好 地 理解 身体 如 何 对 不 
同 的 情感 作出 反应 。 然 而 ， 只 有 这 个 信息 对 完全 地 判断 一 个 人 的 情感 状态 是 不 充 
分 的 ， 因 为 特定 的 信号 可 以 意味 着 很 多 事情 。 比 如 ， 增 长 的 心率 能 意味 兴奋 ,但 
是 也 能 象征 紧张 或 者 愤怒 甚至 如 届 。 此 外 ， 这 种 身体 观测 到 的 反应 是 瞬时 的 并 且 
实际 上 非常 不 稳定 ， 这 是 和 人 类 情感 的 易 变 天 性 关联 的 。 但 是 ， 这 又 引出 了 很 多 
硬件 的 限制 ， 需 要 对 人 体 进 行 不 断 的 监测 变化 。 

这 种 方法 ， 无 论 以 何 种 方式 ， 都 证 明 在 多 种 方案 和 情景 下 是 不 精确 的 ， 例 
如 ， 由 于 外 部 因素 的 体温 改变 ， 像 天 气 和 健康 状态 。 
7.5.2.3 情感 检测 模型 

图 7. 14 展示 了 情感 检测 的 一 个 多 视角 模型 。 这 里 不 同 的 视角 是 为 了 检测 情 
感 而 获取 的 。 在 以 上 的 多 模式 模型 方法 中 ， 面 部 表情 、 语 音 以 及 手势 分 析 和 肢体 
语言 以 及 体温 一 起 用 于 获取 个 体 结果 与 结论 。 在 决策 层面 ， 一 个 比较 仪 和 积分 仪 
构造 能 予以 利用 于 处 理 源 自 不 同 的 单一 模式 方法 的 结果 。 这 有 助 于 消除 不 一 致 并 
排除 不 精确 的 解释 ， 它 也 有 助 于 得 出 结论 而 不 是 漏 掉 单一 模式 阶段 的 值 或 结论 。 
停止 或 者 错误 结果 产生 的 问题 由 于 漏 掉 了 模式 阶段 的 值 而 被 其 他 模式 阶段 的 输出 
结果 消除 了 。 例 如 ， 由 于 各 种 各 样 的 原因 手势 分 析 漏 掉 了 一 些 输入 值 并 且 不 能 形 
成 有 效 的 输出 。 这 可 能 会 被 忽视 掉 ， 因 为 有 其 他 的 方式 得 到 结论 ， 其 他 的 单一 模 
式 方 法 是 非常 独立 于 手势 分 析 这 个 方法 的 。 

整体 生成 的 结论 要 考虑 到 积分 仪 的 输出 ， 就 像 考 虑 输入 的 背景 一 样 ， 它 也 可 
以 作为 先前 分 析 和 结论 的 背景 。 这 样 ， 就 能 得 出 一 个 可 靠 的 并 非常 精确 的 结论 ， 
它 增加 了 情感 检测 系统 的 效率 。 
7.5.2.4 整合 视角 并 生成 整体 输出 

为 了 推论 最 终 的 情感 ， 将 从 不 同 的 视角 尝试 并 解决 这 个 问题 ， 正 如 到 目前 为 
止 所 讨论 的 。 下 一 步 就 是 整体 看 待 不 同 的 视角 并 整合 它们 以 生成 一 个 关于 人 的 情 
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输入 数据 或 图 像 


视角 : 面部 表情 分 析 | 】 视角 : 手势 和 体温 分 析 


| 


视角 : 语音 分 析 


| 


比较 仪 和 积分 仪 -一 


















































图 7.14 情感 检测 模型 


绪 感 觉 的 最 终结 论 。 完 成 它 一 个 可 能 的 方法 就 是 用 界定 法 技术 。 

理解 这 些 视角 显示 一 些 视角 趋向 于 比 其 他 的 更 加 可 靠 ， 用 这 个 知识 去 优化 排 
序 它们 。 更 加 精确 的 是 ， 可 以 给 每 一 个 视角 分 配 不 同 的 比例 并 考虑 它们 的 输出 ， 
减少 它们 的 可 靠 性 的 顺序 。 例 如 ， 如 果 得 出 结论 : 面部 表情 是 理解 人 类 情感 最 可 
靠 的 方法 ， 可 以 在 考虑 语音 样本 或 生物 信号 前 考虑 面部 表情 告诉 了 我 们 什么 。 这 
样 ， 可 以 在 第 一 阶段 应 用 面部 表情 分 析 ， 在 第 二 阶段 应 用 语音 分 析 ， 紧 接着 在 第 
三 阶段 是 手势 分 析 等 。 如 果 第 一 阶段 告诉 我 们 这 个 人 在 湛江 ， 可 以 用 第 二 阶段 断 
定 他 为 什么 在 尖 (是 因为 真正 的 悲伤 还 是 极端 的 襄 悦 )。 使 用 界定 法 拉 术 ， 可 以 
在 每 一 级 状态 空间 树 里 对 一 个 阶段 执行 这 个 。 用 这 种 方法 ,通过 在 每 个 方案 里 应 
用 不 同 的 优先 顺序 ， 树 的 每 一 叶 节点 将 表示 每 个 视角 的 结果 的 可 能 结合 。 

然而 考虑 到 判断 情感 时 存在 着 不 止 一 个 视角 ， 因 此 不 同 的 视角 会 对 情绪 感受 
引出 不 同 结论 貌似 是 很 可 信和 的。 在 这 种 情况 里 ， 第 二 阶段 会 与 第 一 阶段 提供 给 我 
们 的 相 矛 盾 。 当 这 种 情况 发 生 时 ， 系 统 将 不 得 不 决定 取决 于 每 个 视角 的 可 靠 程 度 
并 分 配 比 例 给 强烈 的 情绪 感觉 。 

到 这 里 ， 就 出 现 了 混合 情感 的 概念 。 很 多 时 候 ， 人 们 百感 交集 ， 因 此 当 系 统 
尝试 整合 从 他 们 那 获 得 的 信号 时 ,信号 形成 非常 复杂 的 图 像 。 对 不 同 的 视角 予以 
考虑 将 有 助 于 决定 对 一 个 更 大 程度 的 以 及 一 些 压抑 的 情感 ， 感 受到 的 是 哪 种 


情感 。 
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最 终 的 输出 是 与 混合 情感 相关 联 的 ， 描 绘 了 被 观察 人 们 的 感受 有 多 人 么 强烈 。 
例如 ， 一 个 人 可 能 是 既 兴奋 又 开心 的 ， 而 这 结果 可 能 就 是 由 如 下 构成 : 60% 兴 
奋 ; 40% 开心 。 


7.6 多 视角 方法 的 局 限 性 


如 前 所 述 ， 从 不 同 视角 考虑 问题 拓宽 了 人 们 对 其 本 质 的 理解 。 然 而 尽管 这 是 
一 个 非常 有 效 的 方法 ， 因 为 如 下 所 列 原因 在 具体 实施 时 有 很 大 的 困难 。 为 了 实现 
一 个 问题 的 多 视角 模型 ， 首 先 必 须 精 确 描述 和 落实 视角 自身 。 这 需要 更 多 的 理解 
能 力 ， 因 为 不 仅 需 要 处 理 每 个 视角 ， 而 且 也 需要 整合 结合 它们 的 方法 以 达成 一 至 
结果 。 自 然而 然 的 ， 应 用 它 所 使 用 的 时 间 是 单一 视角 时 的 几 信 多 ， 它 所 需要 的 资 
源 和 硬件 是 大 量 的 并 且 昂 贵 的 。 这 样 繁 重 的 实施 不 适合 于 简单 的 应 用 ， 比 如 房间 
布置 ， 即 使 它们 对 一 些 方面 非常 有 价值 ， 比 如 犯罪 心理 学 。 











7.7 小结 


多 视角 学 习 和 决策 是 系统 机 带 学 习 最 重要 方面 之 一 。 单 一 视角 的 知识 或 者 从 
一 个 视角 获取 的 信息 不 一 定 引 导 高 效 学 习 。 每 个 视角 对 系统 相关 性 和 子 系统 间 的 
关系 提供 了 一 些 附加 信息 和 更 多 的 思考 。 信 息 总 是 碎片 的 ， 那 为 了 基于 这 些 碎片 
言 息 的 决策 就 需要 构建 一 个 系统 全 貌 。 部 分 方案 决策 表示 图 的 使 用 能 给 予 展示 系 
统 的 一 个 特定 视角 。 全 系统 学 习 使 用 了 对 决策 可 用 的 全 部 信息 ， 而 且 这 个 信息 能 
用 来 表示 整体 的 系统 决策 相关 性 。 

结合 了 多 视角 学 习 的 全 系统 学 习 人 允许 利用 关于 一 个 特定 决策 方案 所 有 可 利用 
的 信息 。 这 些 视角 和 表示 为 系统 性 决策 构建 了 知识 ， 系 统 性 知识 能 够 有 助 于 判定 
寺 征 、 活 动 和 影响 间 的 相关 性 。 知 识 构建 甚至 可 以 随 着 知识 从 一 个 新 视角 成 为 可 
利用 而 更 新 的 。 多 视角 和 全 局 系统 机 器 学 习 准 许 为 了 可 用 信息 的 高 效 利用 而 建立 
全 局 的 系统 知识 。 

对 一 个 简单 的 问题 存在 着 很 多 可 能 的 视角 ， 因 此 学 习 问 题 的 规模 在 不 断 增 
长 。 在 一 些 情况 里 没有 增加 收益 时 ， 这 些 非 常 高 的 规模 会 使 决策 方案 复杂 化 。 男 
一 个 挑战 是 选择 相关 信息 并 为 学 习 而 结合 这 类 信息 。 总 之 ,不 同 的 统计 方法 能 
于 优化 排列 视角 。 多 视角 和 全 局 系统 学 习 则 在 以 它们 的 选择 和 优先 次 序 表示 所 有 
可 用 属性 ， 而 且 它 尝试 根据 决策 方案 结合 视角 。 随 着 即将 到 来 的 全 貌 、 所 有 信息 
以 及 历史 的 可 用 模式 ， 高 效 学 习 处 理 复杂 方案 就 是 可 能 的 。 
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第 8 章 增 量 学 习 和 知识 表示 


8.1 简介 





在 监督 学 习 的 情况 下 ， 典 型 性 的 训练 数据 对 学 习 算 法 的 性 能 起 到 了 关键 的 作 
用 ,这 些 典 型 性 的 数据 可 能 会 也 可 能 不 会 表现 出 本 来 要 表达 的 内 容 。 此 外 ， 在 有 
些 时 候 ， 会 有 越 来 越 多 可 用 的 数据 和 信息 。 这 些 新 的 数据 可 能 会 带 来 新 的 视角 ， 
甚至 可 能 会 改变 数据 的 统计 分 布 结果 或 者 迫使 人 们 重新 审视 已 知 的 前 提 。 了 解数 
据 的 重要 性 并 且 让 它 在 提高 学 习 能 力 的 任务 中 发 挥 合适 的 作用 是 很 困难 的 。 在 这 
种 情况 下 ， 用 所 有 的 数据 训练 学 习 者 并 且 丢 弃 之 前 的 学 习 是 一 个 可 用 的 方法 。 这 
种 方法 在 学 习 效率 和 知识 保留 方面 有 许多 的 局 限 性 。 

人 类 利用 已 有 的 知识 以 及 对 学 习 和 决策 的 经 验 。 当 一 个 人 遇 到 新 的 事件 或 是 
言 息 的 时 候 ， 他 在 逐渐 学 习 的 过 程 中 并 没有 丢弃 之 前 的 知识 。 这 种 增 量 学 习 试 图 
验证 现 有 的 假设 并 且 在 这 个 过 程 中 制定 一 个 新 的 假设 。 逐 渐 积累 知识 并 且 在 这 种 
方式 下 表现 使 得 增 量 学 习 成 为 一 种 可 能 。 实 际 上 ， 增 量 学 习 是 人 类 的 主要 优势 之 
一 。 学 习 开 始 是 根据 可 获得 的 事实 ， 随 着 获得 新 的 事件 ， 整 体 的 知识 会 被 改善 。 
人 类 所 需要 的 完整 的 知识 是 很 少 出 现在 这 个 新 的 方案 中 的 。 学 习 是 利用 现 有 的 知 
识 和 新 的 信息 去 建立 最 有 效 的 知识 库 。 学 习 的 男 一 个 重要 影响 因素 是 知识 的 表达 
方式 。 这 种 表达 方式 应 该 允许 容纳 或 者 使 用 新 的 信息 来 有 效 地 学 习 。 增 量 学 习 不 
仅 应 该 允许 积累 知识 而 且 还 要 根据 新 事件 的 出 现 而 更 新 知识 ， 并 在 这 样 做 的 过 程 
中 不 能 丢失 已 建立 的 有 用 知识 。 

就 人 类 而 言 ， 增 量 学 习 的 一 些 明 显 的 理由 是 人 类 记忆 力 的 局 限 性 和 接收 信息 
的 有 序 性 。 这 仍 是 迄今 为 止 已 知 的 最 有 效 的 学 习 方法 。 在 所 有 的 复杂 系统 中 ， 都 
需要 有 效 的 方法 和 增 量 学 习 能 力 去 应 对 知识 保留 的 挑战 。 

在 本 章 ， 将 讨论 增 量 机 器 学 习 和 知识 表示 。 可 以 逐步 实现 机 顺 学 习 吗 ? 这 是 
试图 在 本 章 回答 的 关键 问题 。 有 不 同 的 学 习 方法 去 做 决策 ， 一 般 来 说 ， 机 需 学 习 
缺乏 运用 知识 的 能 力 ， 这 些 知识 是 在 下 一 阶段 可 以 学 习 到 的 。 这 是 最 重要 的 因素 
之 一 ， 没 有 逐步 学 习 的 能 力 会 使 得 在 知识 和 效率 方面 损失 很 多 。 每 次 都 从 头 开始 
学 会 带 来 许多 限制 系统 学 习 能 力 的 条 件 ， 这 些 限制 条 件 主 要 影响 的 是 掌握 知识 和 
处 理 复 杂 情 况 的 能 力 。 随 着 每 天 处 理 的 信息 越 来 越 多 ， 可 获得 的 信息 也 越 来 越 
多 ,智能 系统 将 很 有 可 能 充分 利用 获得 的 所 有 的 信息 。 在 训练 的 初始 阶段 ， 系 统 
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使 用 已 知 的 事件 和 可 用 的 训练 集训 练 。 随 着 时 间 的 推移 ， 通 过 发 现 和 其 他 信息 来 
源 ， 可 以 得 到 越 来 越 多 的 可 用 信息 。 这 些 信 息 可 能 符合 前 提 条 件 ， 也 可 能 会 迫使 
改变 前 提 条 件 。 增 量 学 习 能 在 不 丢失 先前 获得 的 有 用 知识 的 情况 下 最 好 地 利用 可 
获得 的 信息 ， 并 且 通 过 这 样 ， 可 以 调整 前 提 条 件 要 使 前 提 条 件 被 证 明 是 错误 的 。 

增 量 学 习 不 仅 是 可 以 通过 有 用 或 无 用 的 新 数据 来 学 习 ， 而 且 它 还 可 以 通过 新 
的 学 习 来 验证 假设 。 每 种 方法 都 有 它 的 特点 ， 要 根据 应 用 场合 和 应 用 程序 的 类 型 
来 选择 。 考 虑 到 数据 的 增长 率 ， 需 要 使 用 一 些 在 精确 分 类 上 有 优势 的 新 方法 ， 同 
时 还 需 加 快 相应 速度 。 如 果 有 一 个 增 量 学 习 的 需要 ， 会 增加 现 有 学 习 方法 的 价 
值 ， 并 且 能 在 已 经 学 习 过 的 数据 上 发 挥 更 好 的 作用 。 

用 于 增 量 学 习 的 方式 是 当 信息 有 用 时 ， 生 成 基于 数据 库 的 学 习 技 术 和 分 类 顺 
的 集合 。 这 些 分 类 天 的 集合 结合 加 权 和 表决 以 及 其 他 的 类 似 机 制 来 充分 利用 这 些 
数据 。 加 权 可 以 是 静态 的 或 是 动态 的 ， 在 真实 方案 中 ， 动 态 加 权 更 加 有 意义 。 在 
本 章 中 ， 将 讨论 各 种 增 量 学 习 方法 和 从 系统 性 机 带 学 习 视 角 来 看 的 增 量 学 习 的 


需求 。 























8.2 为 什么 增 量 学 习 ? 


监督 学 习 方法 对 分 类 器 的 依赖 取决 于 可 用 的 训练 数据 ， 在 无 监督 方法 中 分 类 
是 通过 未 标记 数据 的 。 无 监督 机 器 学 习 是 基于 相似 性 、 封 闭 性 和 绝对 表现 出 一 些 
增 量 学 习 的 特性 。 事 实 上 ， 数 据 可 能 在 稍 后 的 阶段 中 仍 未 聚集 ， 数 据 集 、 关 系 甚 
至 是 参数 都 随 着 时 间 演 化 。 没 有 新 方案 的 知识 ， 或 者 如 果 根 据 这 些 数据 没有 探索 
出 新 的 关系 ， 那 么 情报 和 决策 能 力 将 会 被 初始 训练 设 定 所 限制 。 

这 些 数据 在 一 段 时 间 内 可 以 训练 数据 或 者 不 标记 数据 。 对 这 些 数据 的 考虑 可 
以 影响 更 早 地 做 出 决定 并 且 可 能 会 改进 整体 的 映射 。 此 外 ， 不 仅 数 据 和 数据 之 间 
的 关系 ， 而 且 参 照 学 习 方案 数据 的 相关 性 也 是 很 重要 的 。 男 一 个 需要 重视 的 因素 
是 训练 所 花 的 时 间 ， 在 训练 集 巨 大 的 情况 下 ， 时 间 也 是 相当 多 的 ， 这 就 需要 一 种 
快速 并 且 效 率 高 的 学 习 方法 。 基 于 完整 的 数据 和 不 使 用 增 量 方法 的 学 习 在 某 些 场 
合 下 可 能 会 简化 ， 但 是 在 大 多 数 的 实际 情况 下 它 不 仅 需要 花费 更 多 的 时 间 而 且 还 
会 限制 学 习 能 力 。 想 象 一 下 ， 一 个 人 会 从 刚 开始 的 任意 一 个 小 的 新 启发 而 询问 整 
个 故事 ， 这 不 仪 会 令 听 者 感到 不 耐烦 ， 而 且 会 在 很 大 程度 上 限制 自己 的 学 习 
能 力 。 

男 一 个 方面 ， 在 学 习 的 各 个 阶段 都 会 产生 一 些 知识 ， 这 些 知识 可 能 有 一 些 关 
系 、 模 式 甚至 是 相关 性 。 在 前 阶段 知识 建立 的 高 效 利 用 仍然 没有 注意 到 增 量 学 
习 。 为 了 更 好 地 决策 ， 发 现 和 更 新 知识 是 一 个 关键 因素 ， 所 以 产生 的 功能 向 量 需 
要 更 新 成 为 新 的 。 在 每 个 学 习 周 期 建立 的 知识 都 是 很 重要 的 ， 新 的 学 习 策 略 需要 
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使 用 在 这 些 学 习 周 期 中 得 到 的 相关 知识 ， 根 据 新 的 策略 可 以 得 到 新 的 知识 。 在 每 
个 阶段 使 用 的 假设 都 不 应 该 违背 任何 阶段 的 数据 。 中 间 假 设 和 学 习 需 要 维持 ， 因 
为 他 们 有 助 于 知识 库 的 维护 。 考 虑 到 上 述 的 局 限 性 ， 可 以 很 明确 ， 学 习 发 生 在 每 
个 阶段 ， 在 每 个 阶段 ， 通 过 学 习 算 法 都 能 得 到 一 些 新 的 数据 和 新 的 学 习 材 料 ， 这 
些 产生 了 对 增 量 学 习 的 需求 。 增 量 学 习 需 要 提供 快速 、 准 确 的 决策 。 增 量 学 习 是 
有 效 利用 已 经 形成 的 特征 向 量 或 知识 库 在 下 一 个 学 习 阶段 期 间 不 影响 决策 的 准确 
性 。 图 8. 1 描述 了 增 量 学 习 需 要 的 因素 。 这 里 的 增 量 学 习 具 有 许多 重要 部 分 ， 比 
如 在 每 个 学 习 周 期 中 的 知识 更 新 和 知识 重用 。 决 策 决 定 最 重要 的 发 现 过 程 ， 这 又 
会 反馈 于 增 量 学 习 。 确 定 新 的 有 用 的 数据 集 和 通过 这 些 数 据 集 学 习 是 最 重要 的 部 
分 。 增 量 学习 也 需要 知识 更 新 、 渐 进 决策 、 基 于 时 间 学 习 、 学 习 效 率 和 高 精度 
跟踪 。 
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图 8.1 加 速 增 量 学 习 的 影响 因素 


8.3 学习 已 经 学 会 好 


在 新 信息 或 新 数据 的 新 的 启示 或 实用 性 方面 ， 系 统 学 到 的 才 会 更 有 意义 。 在 
一 些 情况 下 ， 根 据 新 的 数据 ， 则 建立 在 以 往 数据 集 上 的 假设 可 能 会 失去 意义 。 增 
量 学习 会 理所当然 地 被 描述 为 有 效 利 用 新 的 信息 和 已 经 形成 的 特征 向 量 或 者 在 前 
一 阶段 产生 的 现 有 知识 基础 的 学 习 方 法 能 力 。 不 像 用 于 分 类 中 可 用 的 各 种 方法 ， 
增 量 学 习 的 目的 是 利用 尽 可 能 多 的 能 快速 得 到 和 准确 分 类 的 知识 。 图 8. 2 描绘 了 
这 个 方案 。 

一 般 情况 下 ， 所 学 用 于 决策 非常 有 效 ， 但 有 趣 的 是 它 不 是 用 于 学 习 。 非 常 重 
要 的 原因 是 ， 人 们 都 热衷 于 把 完整 的 数据 放 在 一 起 进行 学 习 。 有 些 方法 坚持 旧 的 
假设 ， 而 其 他 的 试图 提出 新 的 ， 这 导致 一 次 又 一 次 重复 学 习 同 样 的 事实 或 者 有 时 
忽略 一 些 已 经 学 过 的 重要 知识 。 增 量 学 习 的 意义 是 有 效 使 用 已 经 学 过 的 知识 。 增 
量 学 习 是 绝对 的 ? 绝对 增 量 学 习 都 有 自己 的 局 限 性 ， 不 给 机 会 纠正 学 习 的 前 提 。 
增 量 学 习 可 以 大 致 分 为 以 下 两 个 类 别 一 一 绝对 性 和 选择 性 。 在 这 里 ， 绝 对 增 量 学 
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习 既 不 回顾 旧 的 前 提 ， 也 不 证 实 或 纠正 什么 已 经 学 会 ， 然 而 这 里 需要 在 乎 这 些 


问题 。 
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8.3.1 绝对 增 量 学 习 


绝对 增 量 学 习 可 以 被 称 为 传统 方 。 新 数据 
法 的 增 量 学 习 。 在 这 种 类 型 的 方法 中 ， 
需 对 新 的 数据 分 别 进行 分 析 ， 新 的 特 
征 向 量 形成 并 与 原 有 的 相 结合 。 这 里 






绝对 增 量 学 习 

















由 分 类 建立 的 知识 被 称 为 知识 库 ， 因 知识 库 
此 知识 被 更 新 以 及 进一步 用 于 分 类 。 
图 8.3 显示 了 绝对 增 量 学 习 的 基本 观 。” 图 8.3 绝对 增 量 学 习 的 基本 观点 

















点 。 虽 然 这 种 增 量 的 更 新 知识 的 方法 是 非常 有 效率 的 ， 但 它 有 一 定 的 局 限 性 : 

。 关于 选用 哪个 特征 向 量 的 知识 是 无 法 直接 应 用 的 ， 它 只 是 增加 到 基础 知 
识 。 这 种 学 习 建 立 过 多 的 元 余 信 息 并 且 甚 至 不 能 保持 不 同 的 结果 之 间 的 关系 。 

。 在 新 的 数据 的 影响 下 ， 已 经 形成 的 向 量 难以 确定 ， 因 此 它 可 能 会 在 处 理 
边界 条 件 时 失败 。 

。 有 时 ， 增 加 数据 到 已 有 的 向 量 将 导致 增加 不 必要 的 复杂 性 。 这 导致 了 特 
征 向 量 复杂 性 和 决策 模式 的 增加 。 

。 因此 可 能 会 出 现 一 些 特征 向 量 不 再 进一步 需要 或 者 无 效 ， 而 放弃 这 些 向 
量变 得 非常 复杂 。 丢 奔 这 些 特征 向 量 的 影响 甚至 可 以 被 感觉 到 在 系统 的 其 他 
部 分 。 

。 随 着 知识 体系 的 增 大 ， 越 来 越 多 的 特征 向 量 被 建立 ， 它 会 导致 不 明确 的 
状态 ， 处 理 边 界 条 件 变 得 相当 复杂 。 
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。 有 必要 有 效 地 为 了 更 好 的 结果 使 用 半 监 督学 习 。 
绝对 增 量 学 习 在 简单 的 学 习 方 案 下 是 非常 有 用 的 ， 其 中 的 特 生 











F 向 量 之 间 的 相 


互 依赖 性 的 程度 是 非常 低 的 ， 这 在 新 增 的 特征 向 量 对 过 去 建立 的 知识 基础 没有 任 





何 影响 的 情况 下 尤其 有 用 。 图 8.4 显示 了 绝对 增 量 学 习 。 











虽然 绝对 增 量 学 习 是 简单 而 有 效 的 ， 但 有 很 大 的 局 限 性 。 绝 对 增 量 学 习 的 局 





限 性 导致 有 必要 进行 选择 性 增 量 学 习 。 





新 的 模式 








检查 数据 库 匹配 模式 








模式 数据 库 





如 果 存 在 数据 库 一 分 类 





不 存在 然后 
更 新 模式 数据 库 


图 8.4 绝对 增 量 学 习 


8. 3. 2 选择 增 量 学 习 






为 了 克服 绝对 增 量 学 习 的 陷阱 ， 学 习 现 在 需要 有 选择 性 的 性 质 。 绝 对 方法 达 
不 到 的 主要 因素 是 强大 决策 支持 引擎 和 区 分 增 量 学 习 与 非 增 量 学 习 方 案 的 能 力 。 
在 所 有 的 情况 下 ， 系 统 不 必要 是 完全 增 量 学习 的 。 它 应 该 保留 有 用 的 知识 ， 同 时 
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根据 新 的 揭示 的 事实 更 新 其 他 的 特征 向 量 。 此 外 ， 应 当 根 据 新 的 知识 缩小 一 些 已 
经 学 会 的 特征 向 量 ， 并 且 可 以 保持 的 其 余部 分 特征 向 量 不 变 。 选 择 增 量 学 习 方法 
指 的 是 学 习 增 量 用 可 选择 的 方式 、 可 选择 的 区 域 和 可 选择 的 方案 。 它 自 适 应 响应 
系统 中 电流 的 变化 ， 并 在 同一 时 间 保 持 精度 在 可 接受 的 水 平 。 选 择 增 量 学 习 流程 
参照 基础 的 学 习 方法 被 描述 在 图 8. 5 中 。 当 决策 者 观察 到 新 的 模式 时 ， 该 模式 与 
模式 数据 库 中 的 模式 作对 比 获得 它们 的 相似 性 。 























新 模式 








检查 数据 库 匹 配 模式 








模式 数据 库 














如 果 存 在 于 数据 库 ， 分 类 


























更 新 模式 数据 库 
选择 基于 影响 学 习 模 
式 数据 库 模式 学 习 的 基础 上 选 定 的 
模式 和 新 模式 ， 形 成 
新 的 模式 








图 8.5 选择 增 量 学 习 











在 一 个 类 似 的 行为 模式 被 观察 到 的 情况 下 ， 新 的 模式 被 分 类 为 相应 的 类 中 ， 
但 在 没有 模式 或 类 的 情况 下 它 也 能 被 分 类 。 基 于 新 模式 的 影响 一 组 模式 来 自 模式 
库 和 相应 的 数据 来 自 训 练 集 被 选择 。 该 系统 参照 选 定 的 模式 和 训练 集 被 训练 为 新 








的 模式 。 


选择 增 量 学 习 的 特性 : 
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。 从 发 展 的 新 的 例子 中 学 习 ， 它 既 不 从 头 开 始 学 习 ， 也 不 保留 以 前 学 过 的 





所 有 的 特征 向 量 。 它 只 是 演变 现 有 的 特征 向 量 ， 以 适应 新 的 数据 集 。 
。 在 进化 过 程 中 学 习 新 的 训练 集 。 
。 参照 新 方案 的 影响 去 有 选择 性 地 更 新 特征 向 量 。 





。 丢弃 不 再 有 效 的 情况 。 





。 为 决策 新 方案 渐渐 制定 特征 向 量 。 
。 有 选择 性 的 性 质 。 也 就 是 说 ， 它 会 基于 可 使 用 的 新 的 数据 的 分 析 结 果 在 





增 量 和 非 增 量 学 习 之 间 进 行 选择 。 





学 习 不 是 一 个 涉及 收集 特征 向 量 和 应 用 一 些 标准 的 学 习 算法 去 学 习 、 映 射 这 
些 特征 向 量 的 机 械 式 的 活动 。 在 本 职 上 ， 它 是 更 具 选 择 性 和 动态 性 的 。 选 择 增 量 
学 习 是 创造 知识 的 最 初 构架 ， 然 后 结合 新 的 知识 和 学 习 方案 有 选择 性 和 动态 性 地 
完善 它 。 图 8. 6 展现 了 带 有 决策 支持 引擎 的 选择 性 增 量 学 习 。 正 如 前 面 所 说 的 ， 





选择 增 量 学 习 必 须 具 有 选择 























性 和 上 自 适 应 的 性 质 。 它 是 适应 于 当前 方案 或 当前 系统 


状态 的 ， 这 种 自 适 应 特性 也 有 助 于 预测 方法 有 更 好 的 决策 能 
在 选择 性 增 量 学 习 的 情况 下 ， 选 择 考虑 许多 输入 ， 例 如 哪个 数据 应 被 视 为 增 


























量 学 习 、 学 习 是 否 需 要 增 量 在 一 个 特定 的 情况 下 和 选择 的 方法 。 这 里 也 将 把 这 个 
学 习作 为 动态 选择 增 量 学 习 (DSIL)。 一 个 典型 的 DSIL 展示 于 图 8.6 中 。 在 这 
种 情况 下 ， 最 初 的 学 习 被 训练 集 限制 。 知 识 库 建 立 在 学 习 和 决策 支持 机 构 上 ， 参 








照 知识 库 提供 决策 的 过 程 。 


更 新 


知识 库 























新 的 实例 
学 习 
1 人 有。 
选择 增 量 学 习 训练 集 
学 习 
应 用 
决策 支持 引擎 











图 8.6 选择 增 量 学 习 的 基本 观点 





在 一 个 新 的 实例 的 情况 下 ， 有 选择 性 地 采取 学 习 的 决定 。 在 这 里 ， 新 方案 的 
影响 和 学 习 参 考 的 知识 库 是 确定 的 ， 并 且 只 有 知识 库 的 选择 性 部 分 被 更 新 ， 以 适 


应 新 方案 。 
在 增 量 学 习 的 情况 下 ， 








知识 架构 应 该 被 建立 ， 因 此 DSIL 在 学 习 的 同时 应 该 





考虑 不 同 的 观点 。 图 8.7 显示 了 选择 增 量 学 习 以 及 在 学 习 过 程 中 考虑 不 同 的 视角 
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和 观点 。 一 般 情 况 下 ， 当 选择 一 个 学 习 算法 时 ， 最 契合 的 一 个 需要 被 选择 。 因 
此 ， 很 明显 ， 一 个 以 上 学 习 算 法 可 提高 学 习 和 分 类 的 整体 精度 。 每 个 学 习 算法 都 
有 其 自己 的 假设 ， 如 果 这 些 假 设 没有 抓 住 手边 的 数据 ， 那 么 它 可 能 会 导致 某 种 错 
误 。 学 习 者 需要 微调 给 定 的 数据 。 































外 部 环境 因素 、 模 式 
和 新 的 场景 


环境 与 行为 


关系 和 依赖 关系 





图 8.7 增 量 学 习 因素 


由 于 复杂 性 和 没有 考虑 一 些 观点 ， 即 使 是 最 好 的 学 习 者 也 不 能 得 出 准确 的 结 
果 。 由 于 新 事实 的 实现 ， 当 一 个 简单 的 选择 增 量 学 习 算法 尝试 识别 训练 集 的 全 部 
区 域 或 部 分 区 域 时 可 能 会 受到 影响 。 

图 8. 8 说 明了 选择 性 学 习 过 程 产生 的 新 的 数据 ， 这 些 新 的 数据 可 以 是 不 同 的 











。 这 些 数据 和 训练 集中 的 数据 非常 相似 ,不 需要 任何 的 学 习 来 处 理 这 些 
数据 。 

。 数据 是 全 新 的 ， 之 前 没有 被 学 习 者 见 过 。 但 是 这 些 新 的 数据 产生 一 个 全 
新 的 模式 ， 或 者 创建 一 个 完整 的 类 和 一 个 新 的 决策 过 程 。 

。 数据 与 训练 集中 的 数据 类 似 但 是 需要 不 一 样 的 动作 。 这 种 情况 下 需要 重 
新 定义 一 个 特殊 训练 集群 的 边界 。 

。 数据 对 全 局 学 习 策 略 有 影响 并 且 揭 示 了 系统 的 新 的 事实 。 

集体 增 量 学 习 / 协 同学 习 是 系统 的 不 同 部 分 和 智能 实体 递增 的 学 习 方 法 ， 它 
通常 可 以 在 团队 之 间 学 习 、 在 不 同 的 学 习 之 间 学 习 和 学 习 系 统 的 信息 部 分 。 由 于 
选择 增 量 学 习 需 要 数据 点 之 间 依 赖 关系 的 信息 ， 需 要 学 习 元 素 之 间 互 动 。 这 是 一 
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选择 性 地 
更 新 知识 库 
选择 性 学 习 
选择 受 影响 的 区 域 
新 的 见解 ? 
新 的 模式 ? 











图 8.8 选择 性 学 习 过 程 











个 集体 学 习 的 需要 ， 因 此 使 选择 性 学 习 成 为 可 能 。 个 人 决策 者 的 概念 需要 被 客观 
化 。 集 体 增 量 学 习 是 具体 的 学 习 ， 选 择 性 、 集 体 、 自 动 学 习 导致 集体 学 习 ， 如 图 
8.9 所 示 。 集 体 学 习 使 得 根据 不 同 的 智能 决策 者 决定 选择 性 学 习 的 区 域 ， 因 此 集 
体 增 量 学 习 需 要 集体 性 、 选 择 性 、 增 量 性 和 多 视角 。 新 的 信息 或 新 的 数据 点 对 系 


























选择 性 增 量 








图 8.9 选择 增 量 学 习 
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统 的 某 些 部 分 有 影响 ， 这 个 范围 从 多 视角 分 析 角 度 上 被 集体 选择 ， 然 后 根据 被 选 
择 的 范围 执行 增 量 学 习 。 

为 了 达到 更 好 的 精度 ， 增 量 学 习 发 生 在 不 同 的 层次 。 它 可 以 是 特定 的 区 域 ， 
也 可 以 是 在 两 个 决策 者 之 间或 者 是 整个 系统 中 。 

不 同 的 条 件 、 规 则 和 相互 依赖 关系 等 复杂 的 情况 指示 学 习 的 水 平 。 增 量 学 习 
通常 发 生 在 一 个 新 的 事件 或 数据 点 上 ， 这 些 学 习 活 动 或 探索 的 依赖 关系 在 增 量 学 
习 中 得 到 了 分 析 。 增 量 学 习 可 以 发 生 于 不 同 的 水 平 ， 如 图 8. 10 所 示 ， 依 赖 性 决 
定 水 平 的 高 低 。 这 些 条 件 可 能 讲述 这 些 依赖 关系 和 影响 。 图 8. 11 描述 了 这 些 参 
考 事 件 的 关系 。 通 过 可 以 用 来 学 习 的 时 间 可 以 得 到 参数 和 信息 。 学 习 事 件 是 解释 
和 实际 观测 提供 关于 事件 的 信息 ， 而 评估 活动 是 提供 反馈 用 的 。 









































一 般 

群体 相关 变量 Cd 

@® e@ 

依赖 性 ”oe 

规则 | A^B->C 

概率 条 件 | P(C| A,B)= 0.7 
下 
具体 


图 8. 10 不 同 水 平 的 学 习 


图 8. 12 所 示 参 考 增 量 学 习 进行 知识 细 化 。 通 过 新 的 信息 和 知识 参数 ， 得 到 
一 个 感觉 ， 用 来 做 知识 保留 、 惩 神力 度 和 再 学 习 的 决策 。 新 的 数据 点 、 新 的 观测 
行动 、 行 为 的 改变 或 者 可 见 的 变化 通常 有 助 于 学 习 事 件 。 有 直接 的 学 习 活 动 和 简 
介 的 学 习 活 动 ， 学 习 机 会 也 会 从 对 事件 的 分 析 、 测 量 、 解 释 和 推理 中 得 到 。 学 习 
机 会 和 参数 是 参考 集体 增 量 学 习 的 知识 库 使 用 的 。 新 知识 的 建立 是 通过 对 经 验 的 
学 习 和 使 用 新 的 未 标记 的 数据 。 在 这 里 ， 学 习 事 件 是 帮助 建立 新 知识 ， 这 是 一 种 
可 以 提供 学 习 基 础 的 行动 或 决定 。 为 了 结果 和 决定 使 用 这 些 知 识 ， 在 不 同 的 阶 
段 ， 通 过 用 户 和 结果 反馈 知识 建设 。 任 何 知识 的 应 用 创建 一 个 学 习 事 件 形式 的 学 
习 机 会 ， 同 时 这 也 可 以 帮助 建立 知识 。 对 于 集体 的 方案 ， 知 识 被 一 个 不 同 的 智能 
决策 者 所 保留 ， 它 是 可 以 根据 学 习 需 要 和 最 终 帮 助 来 转化 的 。 图 8. 13 描述 了 构 
建 知识 与 决策 推理 过 程 的 关系 。 在 某 种 探索 模式 下 ， 行 动产 生 一 些 反 馈 。 观 察 、 































实际 的 观测 结果 ， 
解释 、 实 例 、 代 理 观 
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图 8.11 
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分 析 规 则 和 反馈 是 对 学 习 的 有 利 因素 ， 这 发 生 在 与 系统 或 环境 和 谐 相 处 时 。 
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应 用 知识 
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知识 转化 
系统 输入 便于 知识 | 学 习 与 系统 输入 元 素 | 学 习 系 统 的 输入 元 素 
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图 8.12 增 量 学 习 和 知识 细 化 





学 习 和 知识 表示 155 





156 决策 用 强化 与 系统 性 机 器 学 习 


人 内 人 1 规划、》 事件 人 人 
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学 习 
图 8.13 推理 和 知识 架构 
增 量 学 习 可 能 通过 参考 新 的 事件 和 鉴定 知识 结构 的 机 会 利用 知识 架构 ， 任 何 
事件 都 会 分 类 使 用 知识 库 和 事件 历史 。 图 8. 14 描述 了 事件 发 生 。 知 识 消 费 和 参 
考 这 些 怎么 样 进行 增 量 学 习 和 知识 架构 的 发 生 。 
事件 和 事件 的 观察 
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知识 表示 


知识 使 用 
图 8.14 和 瞬 入 信息 和 知识 的 过 程 
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考虑 一 个 关于 文献 分 类 的 例子 来 深刻 理解 一 下 绝对 和 选择 增 量 学 习 。 有 两 套 
文件 说 历史 和 政治 ， 一 个 新 的 文件 被 归 类 ， 绝 对 增 量 学 习 的 知识 库 是 根据 特征 向 
量 来 更 新 并 且 用 一 个 绝对 的 方式 给 给 定 的 文件 分 类 。 在 这 种 情况 下 ， 为 了 防止 新 
设 定 分 类 失败 ， 学 习 会 不 允许 对 现 有 的 特征 向 量 进行 更 新 。 由 于 那些 信息 ， 一 个 
完全 的 新 的 特征 向 量 和 类 将 会 形成 ， 它 没有 考虑 到 这 个 新 的 类 对 现在 设 定 的 影 
响 。 考 虑 到 新 的 文档 集 有 “政治 ”这 个 词 ， 因 为 这 个 词 ， 绝 对 增 量 学 习 会 把 它 
归 类 为 政治 并 且 更 新 知识 。 但 是 选择 增 量 学 习 是 参考 新 数据 集 和 特征 向 量 影响 的 
被 选择 的 数据 进行 学 习 的 ， 它 可 能 是 一 种 情况 ， 就 是 该 文件 实际 上 属于 历史 或 者 
需要 创建 一 个 新 类 。 这 个 决策 能 力 存在 于 选择 增 量 学 习 。 进 一 步 讲 ， 集 体 增 量 学 
习 可 以 帮助 理解 参考 文档 分 类 之 间 的 相互 作用 、 所 有 类 之 间 的 关系 和 去 除 对 增 量 
学 习 的 局 限 性 。 

有 一 件 要 记 住 的 事 ， 就 是 增 量 学 习 是 一 个 持续 的 过 程 。 在 所 有 的 时 间 ， 不 论 
是 否 能 得 到 新 的 数据 或 者 是 产生 新 的 类 /标签 ， 学 习 永 远 是 “积极 的 ”"。 随 着 新 
信息 和 知识 的 出 现 ，DSIL 跟踪 特征 向 量 间 的 变化 。 
































8.4 ”监督 增 量 学 习 


增 量 学 习 是 为 了 在 没有 训练 的 情况 下 对 最 新 信息 做 出 有 效 的 反应 。 在 讨论 了 
增 量 学 习 之 后 ， 继 续 监督 增 量 学 习 。 一 个 典型 的 监督 学 习 方法 中 ， 需 要 将 用 来 学 
习 的 数据 做 上 标记 ， 通 过 这 些 标记 的 数据 ， 学 习 产 生 基 础 的 训练 。 根 据 标 记 的 数 
据 ， 更 多 的 新 数据 被 分 类 于 知识 架构 ， 这 些 数据 用 来 做 训练 。 在 监督 增 量 学 习 的 
情况 下 ， 训 练 集 需 要 在 没有 完全 训练 训练 集 的 情况 下 得 到 加 强 。 总 之 ， 新 的 数据 
可 以 用 来 学 习 ， 这 是 通过 强化 学 习 机 做 到 的 。 

增 量 学 习 将 发 生 在 一 个 半 监 督 的 条 件 下 伴随 着 现 有 的 监督 学 习 方法 。 半 监督 
学 习 和 增 量 监督 学 习 之 间 有 一 个 细微 的 区 别 。 在 监督 增 量 学 习 的 时 候 ， 额 外 的 训 
练 机 会 被 介绍 于 学 习 过 程 中 ， 它 是 被 逐步 纳入 全 局 的 训练 集中 的 。 上 述 的 监督 增 
量 学 习 拥 有 两 种 方法 。 在 绝对 增 量 学 习 中 ， 现 有 的 特征 向 量 没有 细 化 ， 全 部 的 学 
习 方法 都 是 增 量 。 它 在 有 限 的 边界 条 件 下 是 非常 有 用 的 。 在 选择 增 量 学 习 中 ， 根 
据 邻 近 的 、 对 新 数据 的 影响 和 新 的 信息 选择 的 训练 集会 用 新 的 信息 再 培训 。 

增 量 监督 学 习 方法 执行 以 下 任务 : 

1) 用 这 些 训练 数据 建立 一 个 知识 库 (任何 监督 算法 都 做 这 些 ) 。 这 也 是 在 
这 样 的 方式 下 进行 的 : 知识 表示 在 之 前 帮助 快速 做 出 决定 。 

2) 用 未 标记 的 数据 分 类 和 更 新 知识 库 。 

3) 对 于 模棱两可 的 类 选择 一 个 最 优 解 。 

4) 得 到 新 的 训练 数据 用 于 更 新 /调整 知识 库 。 
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5) 如 果 有 需要 的 话 ， 生 成 新 的 类 ， 或 合并 现 有 的 和 重组 知识 库 。 
8.5 增 量 无 监督 学 习 和 增 量 聚 类 


在 无 监督 学 习 中 ， 学 习 结果 是 基于 相似 性 、 差 异性 、 亲 密 性 和 距离 的 。 聚 类 
是 基于 相似 度 的 无 标记 数据 分 组 。 对 于 都 知道 的 聚 类 方法 一 层次 和 非 层次 (4 
均值 ) ， 在 聚 类 的 情况 下 ， 时 间 因 素 是 被 看 作 一 个 点 。 用 了 大 量 的 未 标记 数据 ， 
集群 化 需 迅 速 并 应 保持 所 形成 的 聚 类 的 精度 。 在 层次 聚 类 中 ， 多 步骤 用 于 聚 类 分 
析 和 数据 不 被 划分 为 一 个 特定 的 集群 。 在 这 种 情况 下 ， 使 用 一 系列 的 分 区 ， 它 可 
能 开始 于 一 个 所 有 对 象 慢 慢 分 为 多 个 相关 
的 集群 的 单 群 。 层 次 聚 类 有 一 套 凝聚 的 方 
法 ， 它 通过 个 对 象 聚 集成 有 意义 的 组 ， 集 jB © 9 
其 分 裂 的 方法 是 ， 通 过 将 n 个 对 象 先 后 分 . 


到 更 细 的 相关 分 组 。 分 层 的 方法 通常 是 敏 a 
感 的 异常 值 ， 所 选集 群 的 数量 应 该 是 最 佳 ” 。@ 
的 。 关 于 大 均值， 群集 数 的 预先 设 定 对 最 


终结 果 起 着 关键 的 作用 。 和 群集 间 的 数据 移 ® 。 集 妊 A 
动 ， 直 到 达到 一 个 稳定 的 状态 是 需要 耗费 
时 间 的 。 图 8. 15 描绘 了 清晰 的 情况 下 可 
分 离 集 群 的 典型 集群 的 形式 和 距离 测量 图 8.15 集群 形式 与 距离 测量 
方法 。 

在 分 区 情况 下 的 聚 类 ， 初 始 数据 点 或 对 象 的 分 区 使 用 的 是 预定 义 功 能 。 高 斯 
混合 模型 、 基 于 中 心 的 聚 类 和 类 似 的 方法 可 用 于 分 区 聚 类 。 

下 面试 着 理解 增 量 聚 类 将 是 如 何 工作 的 。 在 增 量 聚 类 中 ， 首 先 要 求 数量 的 集 
群 之 前 并 不 存在 。 通 过 正确 选择 聚 类 阔 值 得 到 高 质量 的 集群 ， 异 常 值 也 同时 处 
理 ， 取 决 于 数据 模式 ， 新 的 群集 产生 了 ， 总 是 有 一 个 条 件 使 得 集群 彼此 分 开 。 集 
群 之 间 这 种 分 离 通常 在 距离 接近 的 基础 上 ， 这 个 距离 可 以 是 Euclidean 距离 、 曼 
哈 顿 距离 或 任何 其 他 机 制 ， 以 确定 两 个 或 更 多 的 数据 点 之 间 的 相似 性 。 人 们 甚至 
可 以 使 用 所 述 一 组 数据 或 数据 系列 ， 确 定 两 个 数据 序列 之 间 的 相似 性 。 随 着 集群 
的 增 量 变化 ， 当 添加 新 的 数据 点 时 ， 集 群 正在 逐步 完善 。 可 以 确保 分 又 是 正确 完 
成 的 。 可 以 有 一 个 或 多 个 集群 之 间 的 重 状 ， 不 同 集群 的 处 理 、 异 常 值 的 发 现 集群 
的 合并 如 图 8. 16 所 示 。 

一 旦 形成 集群 ， 会 适当 地 描绘 出 聚 类 。 这 种 表示 是 很 重要 的 ， 它 将 知识 库 用 
于 进一步 的 增 量 学 习 操作 阶段 。 此 外 ， 一 个 新 的 数据 集 集群 逐步 更 新 ， 同 时 合并 
或 丢弃 的 集群 休 眼 也 会 发 生 。 图 8. 16 描述 了 集群 合并 。 因 此 数据 库 是 动态 的 ， 
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xX 


图 8. 16 ”处理 异常 值 ， 合并 集群 





新 的 数据 集 和 数据 点 可 用 ， 需 要 集群 增 量 。 假 设 一 个 简单 的 聚 类 方法 应 用 于 数据 
集 ， 可 以 得 到 个 集群 . 








C=|cl，c en , Ci} , 1 <i<E 
做 出 假设 ， 因 为 数据 库 是 渐进 的 ， 数据库 里 添加 新 的 数据 点 yi ，y,，y3，…， 
yn。 处 理 这 些 点 的 现 有 集群 描绘 如 图 8. 17 所 示 。 





x 


图 8.17 处 理 新 数据 情景 











第 一 步 是 集群 的 形成 。 任 意 属 于 同一 群集 的 两 点 如 果 它 们 与 所 述 集 群 中 的 数 
据点 表现 出 足够 的 相似 性 ， 这 通常 是 决定 使 用 类 似 的 浆 值 和 措施 。 将 多 个 数据 集 
划分 为 两 个 集群 ， 可 能 有 必要 将 它们 合并 。 图 8. 18 显示 了 这 个 属性 使 用 多 个 集 
群 形成 单个 集群 ， 这 取决 于 数据 点 集合 中 的 阐 值 和 距离 。 
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8. 5. 1 增 量 聚 类 : 任务 


增 量 聚 类 被 定义 为 增 量 更 新 集群 ， 其 关键 是 受 影响 的 对 象 。 精 确 决 策 时 考虑 





已 形成 聚 类 中 的 新 数据 库 的 影 
响 , 在 集群 形式 和 知识 升级 的 





集群 B 
新 的 数据 点 
情况 下 ， 聚 类 逐步 形成 。 现 在 0 ouo 6 
9 Oo oo。 
vv OO 


看 看 任务 是 怎样 通过 增 量 聚 类 


进行 的 ， 这 将 让 人 们 对 聚 类 发 
生 有 更 清楚 的 理解 。 


系 ， 改变 潜在 的 集群 成 员 。 在 
增 量 聚 类 中 完成 的 任务 如 下 : 


前 不 考虑 集群 的 数量 。 


适应 现 有 数据 的 聚 类 或 对 其 进 
行 分 类 。 或 者 如 果 需 要 ， 形 成 


新 的 集群 。 











增 量 聚 类 跟踪 相互 依赖 关 








[ 
区 


。 动 态 地 生成 新 的 集群 之 。 形成 “个 单 集群 














。 通过 新 的 未 标记 的 数据 ， 

















。 在 制定 集群 的 过 程 下 ， A 





过 集群 或 情况 需要 进一步 做 出 决定 。 


。 增 量 学 习 过 程 中 ， 考 虑 数据 分 类 的 影响 方面 的 知识 。 
。 准确 、 快 速 地 明确 学 习 任务 。 
图 8. 19 总 结 了 增 量 聚 类 执行 的 任务 。 





未 标记 数据 






动态 形成 集群 准确 并 且 迅 速 
创建 新 集群 / 合 te 
保留 已 学 的 知 j 


图 8. 19 增 量 聚 类 执行 的 任务 
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8.5.2 增 量 聚 类 : 方法 


现在 讨论 增 量 聚 类 方法 。 增 量 聚 类 可 以 发 生 在 单 次 扫描 时 ， 或 在 某 些 情况 下 
需要 两 次 扫描 。 单 扫描 方法 比 双 扫描 速度 更 快 ， 但 相 比 双 扫描 精度 水 平 较 低 。 在 
如 前 面 所 提 到 的 聚 类 ， 动 态 生 成 集群 ， 而 不 考虑 集群 的 数量 。 由 于 聚 类 需要 是 精 
确 的 ， 增 量 聚 类 的 精度 是 由 阔 值 约束 的 。 

国 值 在 聚 类 过 程 中 起 着 非常 重要 的 作用 。 有 各 种 不 同 的 冰 值 生成 方法 ， 它 依 
赖 需要 聚 类 数据 的 类 型 。 增 量 聚 类 方法 选择 的 一 种 调整 浆 值 方法 是 通过 修改 相同 
类 型 的 输入 。 用 这 种 调整 方法 ， 立 值 很 精确 。 其 他 的 方法 获得 该 阅 值 是 根据 它 的 
频率 属性 ， 通 常 要 考虑 数据 的 分 布 。 

要 获得 聚 类 的 动态 阔 值 ， 聚 类 需要 智能 化 ， 数 据 处 理智 能 化 。 要 了 解数 据 的 
分 布 ， 就 可 以 调整 /修改 装 值 使 其 具有 更 精确 的 精度 。 


8.5.3 ” 阅 值 


在 新 的 信息 的 情况 下 ， 去 识别 一 个 全 新 的 或 一 个 类 似 的 已 经 学 到 的 情景 变 成 
了 一 个 越 来 越 困 难 的 任务 。 这 些 决 定 通常 是 基于 阔 值 的 值 。 当 做 决定 时 ， 有 很 多 
策略 可 供 选 择 ， 在 某 些 情况 下 ， 阔 值 是 标识 混乱 的 区 域 。 另 一 种 方法 是 硬 阔 值 ， 
在 这 种 情况 下 ， 试 图 确定 新 的 学 习 情 景 。 当 逐步 聚 类 时 ， 应 该 非 党 小 心 国 值 。 在 
增 量 聚 类 中 ， 阔 值 是 非常 重要 的 一 个 
方面 。 有 关 和 群集 的 所 有 决定 都 是 由 该 
闵 值 约束 的 。 有 很 多 种 用 于 阅 值 计算 
的 方法 ， 准 确 的 边界 区 域 检测 可 以 应 
用 在 这 个 情景 中 ， 这 可 以 通过 使 用 最 
大 似 然 法 来 完成 。 图 8. 20 显示 了 决 
策 边界 。 
























































国 值 判定 可 以 由 以 下 计算 : 数据 剔除 区 
1) 通常 该 值 可 以 决定 数据 系列 
之 间 的 距离 测量 图 8.20 ”决策 边界 数据 甩 区 


2) 它 也 可 以 是 两 个 系列 之 间接 近 程 度 的 值 。 有 关 此 接近 值 的 细 闻 将 在 稍 后 
讨论 。 

国 值 始 终 是 一 个 标准 ， 用 于 分 类 ， 通 常 在 分 析 输 入 数据 模式 后 被 确定 。 

其 中 讨论 的 最 重要 的 一 点 是 ， 是 否 可 能 更 新 闻 值 ， 或 国 值 在 输入 数据 的 变化 
动态 中 被 改变 了 吗 ? 这 将 是 最 困难 和 最 重要 的 任务 。 随 着 输入 数据 的 改变 ， 通 过 
改变 国 值 ， 可 以 得 到 所 需 的 结果 。 
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8.6 半 监 督 增 量 学 习 


事实 证 明 标记 和 未 标记 的 数据 的 学 习 能 力 的 提高 有 助 于 增 量 学 习 。 现 实 中 ， 
新 信息 没有 被 标记 。 为 了 使 这 些 未 标记 的 信息 应 用 到 学 习 中 ， 需 要 半 监 督 性 学 
习 。 半 监督 增 量 学 习 考虑 以 下 方面 ; 

1) 相关 的 未 标记 的 数据 ， 可 以 参考 现 有 的 训练 集 映 射 识别 ; 

2) 为 了 学 习 理解 数据 的 相关 性 并 且 融 合 相关 数据 ; 

3) 随 着 进一步 的 探索 ， 不 断 更 新 动态 影响 和 关系 。 

此 外 ， 通 过 无 监督 聚 类 的 相似 性 和 封闭 性 的 相关 信息 ， 在 许多 情况 下 ， 小 数 
量 的 知识 是 关于 数据 的 组 或 类 。 有 时 它 是 成 对 (必须 链接 和 无 法 链接 ) 约束 数 
据 项 或 类 标签 之 间 的 一 些 项 目 。 而 不 是 简单 地 使 用 这 个 知识 的 外 部 验证 聚 类 的 结 
果 ， 可 以 想象 让 其 成 为 某 种 改善 集群 政策 的 “指南 " 。 因 此 ， 关 于 知识 的 受用 监 
督 的 应 用 容许 未 标签 数据 加 入 参考 数据 中 ， 这 种 方式 称 为 半 监督 聚 类。 一 般 来 
说 ， 可 用 的 知识 是 不 完全 的 ， 在 现实 生活 中 实际 代表 的 知识 并 未 提供 正确 的 分 
类 。 新 的 未 标记 的 数据 揭示 了 新 的 信息 ， 如 下 ， 

1) 与 现 有 类 的 新 数据 的 相似 性 ; 

2) 附加 属性 ; 

3) 新 的 数据 对 整个 集群 形成 的 整体 影响 ; 

4) 发 现 组 的 对 象 ， 这 样 的 对 象 组 相似 或 相关 ) ， 不 同 (或 无 关 ) 的 对 象 
在 其 他 组 。 

在 聚 类 过 程 中 ， 对 象 间 的 集群 内 
的 距离 需要 被 最 小 化 ， 而 集群 间 的 距 


离 需要 最 大 化 。 一 个 典型 的 方案 如 图 。 /633 A 
oO oo 1 集群 间 的 距离 ( o Oo 
O O 0 























8.21 所 示 。 
聚 类 采用 不 同 的 方法 和 相似 性 度 
量 。 在 相似 性 调整 方法 所 ， 可 以 采用 图 8.21 集群 间 和 集群 内 的 距离 测量 
一 些 用 于 相似 性 测量 的 现 有 聚 类 算法 ， 
这 些 措施 基于 距离 测量 。 但 是 ， 相 似 性 度量 使 得 可 能 的 约束 条 件 得 到 满足 。 相 似 
的 措施 包括 Euclidean 距离 ，Mahalanobis 距离 的 凸 优化 调整 或 统计 相似 性 措施 。 
在 增 量 聚 类 中 ， 聚 类 算法 本 身 进行 修改 或 改进 ， 这 样 使 用 者 就 可 以 容纳 所 提 
供 的 约束 或 标签 ， 包括 偏差 和 提供 适当 的 聚 类 。 这 可 以 通过 执行 约束 的 传递 闭 
环 ， 并 使 用 它们 来 初始 化 群集 完成 。 
此 外 ， 从 各 种 实时 学 习 的 视角 进行 半 监 督 增 量 学 习 是 很 重要 的 。 相 关 点 必须 
链接 ， 而 无 关 点 无 法 链接 。 以 下 方面 被 认为 是 半 监 督学 习 : 
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。 存在 大 量 无 标签 数据 

1) 一 直 在 不 断 产 生 ; 

2) 所 有 新 数据 都 是 未 标记 的 形式 。 

。 生成 的 标签 数据 昂贵 

1) 通常 需要 人 工 干 预 ; 

2) 标记 数据 的 产生 需要 专家 。 

。 使 用 人 工 输入 提供 标签 的 一 些 数 据 

1) 改进 现 有 的 聚 类 方法 ; 

2) 使 用 标记 数据 来 指导 未 标记 的 数据 进行 聚 类 ; 

3) 最 终 的 结果 是 更 好 的 聚 类 数据 。 

。 潜在 的 应 用 

1) 文档 /文字 分 类 ; 

2) 图 片 分 类 ; 

3) 生物 信息 学 (基因 /蛋白 集群 ) 。 

现 有 标签 在 一 开始 提供 给 用 户 。 这 个 标签 基于 数据 点 相关 的 用 户 信息 ， 如 这 
两 个 数据 点 必须 联系 在 一 起 ， 而 文件 不 应 被 链接 ， 这 形成 了 基础 学 习 。 在 半 监 督 
学 习 中 ， 最 初 的 知识 通过 新 的 数据 点 和 新 的 想法 进一步 开发 。 

随 着 监督 和 无 监督 方法 的 讨论 ， 可 以 得 到 最 佳 利用 半 监 督 增 量 学 习 的 方法 。 
可 用 的 数据 都 是 标记 和 未 标记 的 ， 增 量 学 习 将 是 监督 和 无 监督 的 结合 。 

在 学 习 的 情况 下 ， 任 务 可 以 看 作 如 下 : 

1) 从 现 有 的 标签 数据 ， 逐 步 建 立 知识 基础 ; 

2) 通过 无 标记 数据 ， 逐 步 更 新 和 重组 的 知识 库 ; 

3) 对 于 知识 库 基 础 上 的 新 实例 做 决定 并 更 新 。 











8.7 增 量 与 系统 性 学 习 


已 经 在 前 面 研 究 过 系统 性 学 习 ， 存 在 争论 点 : 增 量 学 习 和 系统 性 学 习 是 否 有 
关系 ? 增 量 学 习 和 系统 性 学 习 相 辅 相 成 ， 系 统 性 的 机 械 学 习 需 要 增 量 学 习 。 随 着 
时 间 的 推移 ， 当 系统 显露 出 新 方面 的 时 候 ， 就 需要 将 系统 性 学 习 和 增 量 学 习 融 合 
到 整个 系统 的 构建 当中 。 正 如 前 面 所 说 ， 增 量 学 习 和 系统 性 学 习 需 要 一 直 贯 穿 其 
中 。 因 此 做 决定 的 时 候 ， 需 要 按照 当前 的 状态 进行 反映 。 在 任何 情况 下 的 时 间 ， 
可 以 作为 一 个 决策 者 。 为 了 具有 更 好 的 分 类 效果 ， 需 要 依靠 时 间 标 签 来 管理 系统 
模式 和 输入 变化 ， 并 且 需 要 更 新 相应 的 知识 。 问 题 要 解决 的 是 奖励 ， 增 量 学 习 得 
到 的 奖励 是 什么 ? 增 量 学 习 需 要 从 系统 奖励 采取 行动 和 建立 知识 。 系 统 性 学 习 考 
虑 很 多 视角 ， 因 此 通过 系统 性 学 习 的 增 量 学 习 需 要 考虑 不 同 的 观点 。 
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系统 性 学 习 最 重要 的 部 分 是 系统 性 的 知识 构建 。 当 信息 以 位 或 码 片 形 式 进 入 
时 ， 它 需要 被 合并 ， 并且 不 能 失去 过 去 存在 的 观点 和 理解 。 但 是 也 需要 从 一 个 新 
的 视角 去 理解 它 。 增 量 学 习 和 系统 性 学 习 的 关系 如 图 8. 22 所 示 。 











选择 性 地 更 新 
知识 库 



























做 出 选择 学 习 不 同系 统 信息 





由 于 学 习 选 择 
受 影响 的 区 域 


NN 是 新 的 见解 ， 芝 


新 的 形式 ? 





检查 依赖 因素 























图 8.22 系统 性 及 增 量 机 器 学 习 





8.8 增 量 接近 值 和 学 习 方 法 


这 里 将 介绍 一 个 新 的 因素 计算 两 列 之 间 的 相似 性 ， 称 为 “亲密 ”因素 。 
该 列 之 间 的 亲密 关系 是 计算 概率 的 方法 ， 亲 密 值 解释 如 下 。 
假设 两 个 数据 序列 S| 和 S,;。5S,(]7) 表示 第 i 列 点 j。7()) 是 列 参 数 的 总 和 : 





TO) = 2 51(0) + 5,0)) 
J =1 
5 的 概率 计算 公式 如 下 ， 
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S; (7) 的 预期 值 计算 如 下 : 
Si(7) =P * TO) 
误差 c(j) 定义 如 下 : 
PxT(O) -5i(7) 
7(J) xPx(1-P) 
最 后 ， 列 之 间 的 亲密 值 “C” 计 算 如 下 : 


2 ce(D2 xw()) 
j=1 





c(]) = 














C2 = 


式 中 w()) = VTO)。 
使 用 增 量 学 习 方法 求 亲密 因素 得 到 的 结果 是 值得 注意 的 。 





8. 8. 1 增 量 学 习 方法 1 


假设 集群 C; 。 
令 Ci 有 nn 个 数列 Di， 六 ， D;,， 2 D,: 





Di = [en, Cl2，“”…， emm| 
D,= {es, e2 Com | 
D, = | €nl», En “'", Cnm | 





每 列 都 有 m 个 元 素 。 每 个 集群 中 存储 的 所 有 数据 元 素 的 总 和 在 集群 中 : 


sum= SD 


i=1 j=1 








此 集群 由 P 值 表示 : 
Ci=P1; Pys Pas **s Pn 
新 的 数据 列 或 群集 产生 ， 属 于 集群 。 添 加 新 的 集群 将 改变 模式 ， 这 些 变化 可 
以 用 增 量 表示 计算 . 











Na = Na, Ne， Na， 本 Nan 
sum (Ny) = > Ni 
由 


新 的 集群 表示 为 
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Caay = Pew Pi ow Po di :Pin 


其 中 





_ (Pi) (SUM( C1)) + Na 
WES SUM( C1) + SUM(N,) 
因此 ， 如 果 总 和 保存 在 每 个 集群 中 ， 那 么 可 以 递增 地 修改 集群 。 














8. 8. 2 增 量 学 习 方 法 2 


(计算 C， 即 ， 修 改 两 个 集群 中 一 个 被 修改 的 集群 。) 

稳定 集群 的 情况 下 ， 提 供 的 结果 非常 接近 。 如 果 集群 是 不 稳定 的 ， 它 可 能 会 
导致 远离 正确 的 结果 。 在 这 种 情况 下 ， 不 需要 保存 集群 中 的 所 有 数据 元 素 的 
总 和 。 

集群 C 等 于 : 























Gi 三 PD 
新 数列 ND 等 于 

ND = ND,, ND,, ND;, …, ND 
集群 内 数列 个 数 为 n。 
加 入 数列 后 ， 新 的 集群 值 等 于 : 

NP =NP| ，NP, ，NP; ，…，NP 


n 








n 


那么 


(Pim) + (pi/ $7D,) 
[| 


人 (m+1) 





8. 8.3 计算 C 值 增 量 


这 种 方法 在 计算 C 值 增 量 的 同时 逐渐 拉 开 两 个 群集 之 间 的 距离 。 包 含 在 集 
群 C, 中 的 新 数列 D， 这 一 数列 的 C 值 相对 于 其 他 列 产生 变化 。 方 法 就 是 逐步 跟 
踪 这 种 变化 。 

这 种 方法 通过 少量 计算 就 可 以 得 到 接近 预期 的 结 

C, 是 男 一 个 集群 。C, 的 C 值 比 C 的 C 值 小 : 
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2 (C0) -GOD))2ACVGO) + C0))) 
Chew = = 


> VO + 0) 


j=1 
就 以 前 的 C 值 而 言 ， 新 C 值 没 有 关系 。 对 于 C, 的 新 的 P 值 ，C,(j) 可 以 用 
以 前 的 己 值 表示 。 





采取 列 : 
91=ell，e2，e3， ***, Eln 
92 =eol1，6e22 ，623， 1, E21 
93 =e31, 632, 633, "**, C3n 
产生 的 方程 式 如 下 : 


Pattern = (ell +el» +e13),(e12 +e +E39),***, (C1n +E2n 十 en) 
方程 式 的 P 值 等 于 : 
(el1 + el2 十 ea)/ > All, (el + ex 十 ew)/ > All,:…:, (el, + en, + ea)/ > Al 
接 下 来 计算 c (Pi) 。 为 了 计算 c (S ，Pattem) ， 将 计算 P (Si，pattern): 


| 
> All 
让 pxXT() -5;(7) 
TU) xp x (1-7p) 
之 后 用 相同 的 方式 计算 S 和 $3 ， 将 得 到 ; 


ci(S1,Pattern) =c11 ,C12,*** ,C1 





p(S1,Pattern) = 














ci(S, ,Pattern) = C2 yc ,Co 
ci(S3,Pattern) = c31 ,C3 pc 


集群 C 整 列 可 以 表示 为 这 三 个 要 素 的 加 权 平 均值 : 
1 
2 ec(7)2 xw()) 
j=1 








C = 二 
w()) 
j=1 


J 


可 以 得 到 列 的 总 和 ， 加 权 函 数 等 于 . 

w(]) = > 5 
假设 有 三 个 列 的 C 值 ， 现 在 加 入 列 $1 ， 这 将 改变 P, 的 值 ， 这 由 上 面 讨 论 过 的 等 
式 给 出 。 
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对 于 第 j 个 元 素 ， 列 数 为 i。 
这 些 方程 是 计算 C 列 第 7 个 元 素 。 以 同样 的 方式 ， 剩 余 的 元 素 也 可 以 计算 出 来 : 
n+l 
Ze DI WO; 
Caw = i TT 
2 Wi; 
二 
W(i); 是 ey， 也 就 是 ,第 i 列 的 第 j 个 元 素 表 示 为 
n n+l 
(Pe) xWOONMVEWO + (ent+1)? x Wn+1),)) 
i=1 i=1 
n+l 


ZW), 
= (Bedi)? x WD) Fw) (Evo Emo): (e (n+1)?x 
el i= 二 这 三 


n+l 


W(n 11))/ wi) 
i=1 





n+l 


n n+l 
= (Cop) x (BD WOO/D WO)+ cn+t1)? x Wn+1))/ 2 Wi 
过 和 ws 
_ (Co1w)” x (Weightorp) ,cn+1)? x Wn+1)) 
WeightNew (WeightNpw ) 


Weightorp =e1; +ez +*** +e 





ny 

Weight waw, 的 第 7 个 元 素 等 于 n+1 列 中 所 有 j 列 元 素 的 总 和 : 
Weightyew =e1; + e2; + 十 enrlj 

c(n+1) 是 n+1 列 中 第 j 个 元 素 的 c 值 。 

丈 (z+1) 是 n+1 列 的 第 j 个 元 素 。 

以 同样 的 方式 ， 在 该 列 中 的 其 余 元 素 都 可 以 计算 出 来 。 

能 通过 Co1p 得 出 CNksw。 知 道 新 权重 和 以 前 的 权重 ， 可 以 通过 方程 式 计算 新 
数列 的 ec 值 。 当 得 到 集群 里 所 有 列 的 总 和 时 ， 就 可 以 得 到 新 权重 和 以 前 的 权重 。 
WW(n+1) 是 新 数列 的 总 和 ， 可 以 很 容易 地 计算 出 来 。c(n+1) 是 旧 方 程式 与 新 数 
列 之 间 的 e 值 : 





n+l 
> VP(NEW) x C, (NEW)’ 
OverallC( NEW) = 三 : 








n+l 


> VP(NEW) 


i=1 
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8.9 ”学习 与 决策 模型 





图 8. 23 给 出 了 新 的 预测 模块 的 结构 ， 其 应 用 从 医疗 保健 决策 到 酒店 业 和 收 
入 管理 有 所 不 同 。 该 预测 工具 后 于 决策 系统 。 

图 8. 24 描绘 了 全 局 的 决策 系统 架构 决策 基于 增 量 学 习 。 决 策 经 理 负责 决策 
制造 和 工程 的 历史 数据 与 行为 的 映射 。 定 性 的 投入 和 增 量 定量 输入 便于 决策 。 


参数 数据 库 
模式 匹配 









































各 参数 一 二 的 模块 
数据 库 
增 量 学 习 
预测 模块 


图 8.23 增 量 学 习 与 预测 
























































决策 管理 
Ei 
新 决策 参数 -一 (一 行为 图 
历史 数据 
定性 输入 
学 习 


图 8.24 增 量 学 习 和 决策 


8. 10 增 量 分 类 技术 


分 类 进行 学 习 ， 可 能 是 文档 类 型 ， 文 本 、 对 象 或 问题 的 分 类 ， 因 此 增 量 分 类 
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是 增 量 学 习 的 一 个 重要 组 成 部 分 。 增 量 分 类 允许 容纳 新 的 数据 点 分 类 ， 而 不 从 头 
开始 学 习 。 以 文档 分 类 为 例 ， 假 设 一 个 分 类 器 进行 体育 新 闻 和 政治 新 闻 分 类 。 体 
育 新 闻 被 移动 到 报纸 的 最 后 一 页 ， 而 政治 新 闻 被 放 在 报纸 的 第 一 页 和 第 二 页 上 。 
假设 一 个 新 型 的 消息 说 科学 新 闻 和 科学 的 体育 新 闻 ， 鉴 于 这 些 新 类 型 ， 有 四 种 类 
型 的 消息 : 

1) 体育 新 闻 ; 

2) 政治 新 闻 ; 

3) 科学 新 闻 ，; 

4) 体育 科学 新 闻 。 

用 两 个 附加 类 型 的 新 闻 : 一 种 选择 是 从 头 学 习 和 构建 分 类 系统 ， 可 以 分 为 四 
类 ; 另 一 种 选择 是 允许 增 量 学 习 ， 参 照 政治 新 闻 保 持 不 变 。 旧 的 体育 新 闻 增 量 更 
新 ， 两 个 新 型 的 科学 和 体育 科学 新 闻 都 进行 了 介绍 。 图 8. 25 显示 了 分 类 ， 有 或 
没有 增 量 学 习 。 


创建 四 个 分 类 
科学 ~ 1. 体育 
再 培训 2. 政治 分 类 
体育 科学 一 | 3. 科学 





















































4. 体育 科学 
无 增 量 学 习 
更 新 体育 类 
科学 | 
体育 科学 
5 
创建 科学 与 
体育 科学 类 
增 量 学 习 


图 8.25 例子: 有 或 无 增 量 学 习 








8.11 案例 分 析 : 增 量 文档 分 类 


各 种 文件 需要 被 归 类 为 任何 自动 化 的 文档 管理 系统 。 这 可 能 包括 表格 、 文 档 
图 像 、 图 片 和 非 结 构 化 文档 。 随 着 信息 爆炸 ， 越 来 越 多 的 文件 变 得 可 用 ， 并 成 为 








库 的 一 部 分 。 这 些 文件 可 以 属于 已 
受过 训练 的 类 或 可 以 是 一 个 完全 新 
类 型 的 文档 。 慢 慢 有 大 量 的 类 、 庞 “| 。 现 有 知识 革 由 
大 的 训练 集 以 及 不 同类 型 的 关系 在 
不 同 的 文档 。 该 规定 文件 增 量 不 仅 








节省 所 需 的 时 间 ， 还 保留 知识 的 过 
去 。 增 量 分 级 的 另 一 个 优点 是 ， 
可 以 不 训练 就 开始 分 类 文档 ， 如 图 


8. 26 所 示 。 


以 按揭 文档 分 类 为 例 ， 这 种 典 保留 旧 知 识 
型 的 应 用 可 以 包括 不 同形 式 的 贷款 、 
票据 、 附 加 条 款 等 。 假 设 它 包括 表 
单 1003 和 1004 以 及 一 个 可 调 速率 建立 新 知识 
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新 的 探索 事实 








标记 。 这 些 形式 是 基于 该 术语 频率 











分 类 的 。 现 在 引入 新 文档 (DOT) 。 知识 建 模 





由 于 存在 无 DOT 影响 的 区 域 ， 特 征 











向 量 可 以 只 添加 可 导致 知识 保留 的 


增 量 学 习 就 好 ， 因 为 没有 必要 让 系 


统 从 头 学 习 。 


图 8.26 增 量 文档 分 类 和 知识 管理 














新 文档 和 类 一 DOT 





初步 训练 的 设置 一 分 类 包括 类 别 ARN 、FRN 、1003 和 1004 


增 量 适应 新 课程 一 权重 计算 一 新 集群 形成 
构成 一 知识 积累 和 文档 管理 














新 文档 和 第 i 类 亲密 值 可 以 


表示 为 


Closeness_ 1 = closeness (new_ document, class_ i) 


学 习 需 要 训练 所 有 类 ， 也 就 是 需要 亲密 值 小 于 姜 值 和 新 文档 。 


8.12 人 小结 


决策 的 下 一 步 就 是 增 量 学 习 。 拥 有 一 个 强大 的 决策 能 力 ， 并 考虑 到 从 行业 的 
视角 来 看 结果 ， 这 是 值得 注意 的 。 通 过 一 直 学 习 ， 增 量 学 习 方 法 对 预测 有 着 巨大 
潜力 。 推 断 的 决定 是 关于 数据 模式 的 分 析 ， 同 时 得 出 精确 的 分 类 结果 。 通 过 学 习 
方法 ， 在 现 有 系统 的 修改 建议 会 对 生产 力 产 生 巨 大 影响 。 增 量 学 习 可 以 看 作 系 统 





性 学 习 最 重要 的 方面 之 一 。 在 每 














一 个 阶段 并 从 不 同 的 视角 得 到 的 知识 允许 建立 系 





统 性 的 观点 ， 并 人 允许 促进 增 量 学 习 。 
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半 监 督学 习 让 人 们 通过 标记 数据 学 习 未 标记 数据 ， 这 可 以 使 得 选择 相关 的 未 
标记 数据 进行 学 习 。 半 监督 增 量 学 习 使 人 们 能 够 建立 学 习 参 数 ， 同 时 保留 建 于 过 
去 有 用 的 知识 。 绝 对 增 量 学 习 能 产生 许多 不 同 的 问题 ， 增 量 学 习 的 首选 方式 是 选 
择 性 增 量 学 习 。 此 时 旧 学 习 参 数 的 选择 性 更 新 并 建立 新 的 特征 向 量 ， 这 需要 知识 
的 强化 和 知识 的 积累 。 增 量 聚 类 基于 相似 和 分 布 的 新 发 现 。 
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9.1 简介 











任何 类 型 学 习 的 目的 都 是 建立 知识 和 管理 知识 并 作出 最 优 的 决策 ， 这 需要 在 
恰当 的 时 候 、 合 适 的 地 方 使 用 正确 的 知识 。 生 活 中 不 断 出 现 新 的 方案 和 新 的 信 
息 ， 因 此 需要 扩充 知识 构建 ， 并 有 效 地 为 未 来 的 知识 构建 发 挥 作用 。 机 器 学 习 的 
目的 是 使 机 器 学 习 来 增加 知识 ， 并 进一步 构建 一 个 提高 知识 、 使 用 知识 从 而 高 效 
地 做 出 决策 的 思维 模式 。 这 是 一 个 持续 的 过 程 ， 而 学 习 是 知识 生命 周期 的 一 个 重 
要 方面 。 这 不 仅 授 权 允 许 系统 在 下 次 类 似 的 情况 下 更 有 效 地 解决 问题 ， 还 可 以 以 
智能 的 方式 应 对 新 的 方案 。 

知识 的 获取 是 对 新 的 信息 的 识别 、 吸 收 ， 并 将 其 存储 的 过 程 。 在 存储 器 中 存 
储 信息 并 可 以 在 以 后 随时 提取 检索 。 分 类 的 过 程 中 ， 挖 气 、 存 储 和 检索 相关 的 信 
息 在 很 大 程度 上 依赖 于 信息 的 存储 、 组 织 和 表示 。 知 识 获 取 可 以 通过 更 好 的 学 习 
和 映射 得 到 改善 ， 也 可 以 通过 考虑 方案 和 信息 的 关系 得 到 改善 。 这 包括 了 解 所 需 
信息 的 目的 、 功 能 及 其 关系 。 当 学 习 者 专注 于 新 材料 的 意义 和 整体 关系 的 信息 
时 ,获取 知识 变 得 更 有 效率 。 为 了 成 功 获取 知识 ， 学 习 过 程 中 需要 考虑 系统 的 依 
赖 关 系 。 成 功 地 理解 和 理解 力 、 管 理 力 、 提 高 学 习 能 力 都 可 以 促进 知识 的 获得 。 
对 于 知识 工程 和 知识 管理 项 目 ， 知 识 获取 包括 构建 、 启 发 、 收 集 、 分 析 、 建 模 和 
验证 知识 。 

最 重要 的 一 方面 是 ， 知 识 构建 和 重新 应 用 保持 方案 内 容 。 方 案 和 知识 获取 是 
密 不 可 分 的 。 知 识 的 获取 涉及 的 各 种 参数 ， 如 相关 性 和 时 间 维 度 ， 具 有 十 分 广阔 
的 范围 ， 这 也 需要 提供 在 不 同 的 系统 来 源 中 获得 知识 的 方法 。 知 识 获取 发 生 在 每 
一 个 学 习 阶 段 ， 图 像 、 对 象 、 数 据 或 者 图 案 都 可 以 启发 学 习 。 许 多 机 需 学 习 方 法 
提供 了 人 性 化 引导 的 知识 获取 。 知 识 获取 的 第 一 个 重要 方面 是 关注 相关 的 特性 ， 
因此 需要 定义 相关 的 特性 。 第 二 部 分 是 关于 理解 这 些 特性 和 了 解 这 些 特 性 的 表 
现 ， 也 就 是 说 ， 理 解 规则 和 依据 兴趣 划分 特性 之 间 的 关系 类 别 。 另 一 个 最 重要 的 
方面 是 知识 构建 基于 学 习 能 力 逐 步 提高 的 动态 过 程 。 本 章 还 讨论 了 知识 应 用 和 知 
识 构建 的 协同 评估 。 概 括 地 说 ， 随 着 使 用 这 些 不 同 来 源 的 知识 ， 需 要 多 视角 学 习 
和 更 新 决策 。 决 策 者 之 间 的 协作 和 竞争 可 以 用 于 建立 和 扩充 知识 。 

知识 扩充 是 在 现 有 数据 资料 、 现 实 作 用 、 可 利用 的 新 信息 的 基础 上 构建 和 提 
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供 有 价值 的 信息 ， 它 涉及 知识 挖掘 、 知 识 整合 、 知 识 增 量 建设 、 新 知识 表示 。 图 
9.1 显示 了 知识 扩充 的 基本 观点 。 知 识 周期 包括 捕捉 、 保 存 、 扩 充 和 传播 以 及 知 
识 使 用 。 知 识 周期 如 图 9. 2 所 示 。 

















知识 扩充 | 





知识 搜集 知识 整合 增 量 知识 建设 


现 有 知识 






新 知识 表达 








图 9.1 知识 扩充 





明确 的 反馈 机 制 、 自 适应 学 习 和 系 
统 性 的 观点 都 可 以 针对 知识 的 用 途 帮 助 
和 指导 人 们 获得 知识 ， 而 且 多 视角 的 学 
习 需 要 选择 合适 的 知识 获取 方法 。 在 这 
个 过 程 中 ， 最 重要 的 部 分 是 使 用 已 经 构 
建 好 的 有 效 的 知识 ， 并 且 在 需要 的 情况 
下 校正 该 假设 。 这 样 的 知识 有 两 方面 的 
依据 : 中 一 些 知 识 可 以 直接 使 用 ， 变 化 图 9.2 知识 周期 
的 方案 对 这 些 知识 的 改变 不 大 ; @@ 下 一 个 层面 ， 也 要 根据 新 的 事实 重新 定义 一 些 
知识 。 多 学 科 的 概念 整合 可 以 用 于 知识 构建 。 

本 章 介绍 了 整个 知识 生命 周期 和 参照 不 同 的 机 器 学 习 方法 进行 学 习 提 高 的 过 
程 。 此 外 ， 知 识 需要 以 这 样 的 方式 表达 ， 该 学 习 系 统 可 以 在 未 来 的 学 习 和 决策 中 
再 次 利用 。 另 外 ， 还 将 讨论 参照 机 器 学 习 方 法 而 获得 的 知识 构建 。 




















9.2 短暂 的 历史 和 相关 工作 

















大 约 在 公元 前 6 世纪 ,来 自 包 括 希 腊 、 印 度 和 俄罗斯 等 不 同 国家 的 科学 家 和 
研究 人 员 研 究 了 基于 推理 使 知识 获取 更 加 容易 的 方法 和 技术 。 知 识 获 取 需 要 根据 
之 前 的 经 验 信息 为 依据 。 根 据 研 究 人 员 获 得 知识 的 过 程 分 析 ， 知 识 获得 总 是 需要 
以 有 助 于 学 习 评估 和 分 析 的 历史 信息 为 基础 。 纯 粹 历史 知识 的 学 习 模式 有 其 自身 
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的 局 限 性 。 公 元 前 4 世纪 ， 就 有 最 早 的 一 批 学 者 开始 挑战 理性 的 推理 ， 其 中 包括 
柏拉图 、 苏 格拉 底 和 德 资 克利 特 。 亚 里 士 多 德 (公元 前 384 - 322) 是 学 术 界 众 
所 周知 的 形式 逻辑 的 创始 人 。 认 识 论 是 涉及 技术 和 工具 的 系统 术语 ， 它 促进 了 科 
学 知识 和 科学 基础 学 习 时 代 的 到 来 。 从 归纳 法 开始 ， 理 性 推理 和 数学 逻辑 作为 获 
取 有 用 知识 的 主题 开始 ， 当 今 时 代 需 要 具有 系统 性 的 构建 和 扩充 知识 的 能 力 。 该 
系统 应 该 在 相似 与 非 相似 、 复 杂 与 非 复杂 等 各 种 情况 下 智能 地 运作 。 要 构建 这 样 


一 套 系统 ， 必 须要 了 解 知 识 是 什 
么 : 它 不 仅 是 要 存储 大 量 有 用 的 
相关 资料 进行 估算 、 预 测 和 分 析 ， 


而 且 可 以 构建 一 个 有 价值 的 情境 
去 帮助 解读 知识 ， 实 现 目 标 。 今 
天 ,这 种 存储 和 检索 信息 在 人 工 
智能 、 商 业 智 能 和 以 挖掘 数据 为 
基础 的 系统 和 软件 的 帮助 下 得 以 
实现 。 知 识 可 以 进一步 被 视 为 一 
种 消息 ， 这 种 消息 被 那些 可 以 全 
局 的 完成 任务 的 人 所 掌握 。 图 9.3 
描述 了 文本 中 一 个 典型 的 知识 发 
现 过 程 。 后 置 处 理 。 ”验证 结果 

J. H. Johnson、P. D. Picton 和 图 9.3 来 自 文本 的 知识 发 现 过 程 
N. J. Hallam 在 1994 年 发 表 的 研究 论文 《Safety - Critial neural computing: Expla- 
nation and verification in knowledge aug mented neural networks》 (安全 至 上 的 神经 
计算 : 解释 和 验证 知识 增强 神经 网 络 的 灵敏 度 ) 中 ， 提 出 神经 网 络 的 问题 。 特 
别 是 常规 的 ， 不 能 包含 先 验 知识 ， 更 不 可 能 解释 其 输出 上 。“ 黑 盒 分 类 器 ”理论 
适用 于 神经 网 络 分 类 器 的 体系 结构 。 神 经 网 络 本 身 不 能 和 人 类 决策 者 一 样 进行 交 
流 ， 因 此 知识 增长 在 神经 网 络 中 起 着 重要 的 作用 。 在 复杂 而 且 变 化 多 端的 软件 工 
程 中 ， 基 于 历史 经 验 和 学 习 而 构建 的 简单 的 模型 有 很 大 的 局 限 性 。 基 于 探索 和 经 
验 修正 构建 的 知识 体系 在 解决 这 样 复杂 的 问题 上 是 非常 有 用 的 。 

在 由 Park 、Yu 和 Wangl2] 发 表 的 研究 文章 中 ， 他 们 已 经 提出 了 一 种 方法 ， 
以 提高 基于 知识 决策 支持 系统 能 力 。 定 性 推理 (QR) 方法 可 以 用 于 在 动态 和 不 
连续 方案 中 获得 知识 ， 知 识 库 需要 不 断 地 发 现 和 更 新 ， 静 态 的 知识 基础 情况 决定 
了 知识 库 的 完整 性 ， 用 适当 的 知识 增强 策略 和 动态 的 知识 库 可 以 有 助 于 克服 这 个 
问题 。 


在 2002 年 ， 人 研究 论文 [3] 提出 了 一 种 新 的 理念 : 结构 化 文档 有 不 同 的 对 












































776 决策 用 强化 与 系统 性 机 器 学 习 





象 ， 这 些 对 象 映射 到 内 容 上 。 有 效 的 结构 化 文档 检索 需要 基于 内 容 检索 的 对 象 ， 
并 考虑 它们 的 逻辑 结构 。 这 篇 文章 提出 了 一 个 合理 的 模型 ， 反 映 了 结构 化 文档 中 
包含 的 内 容 可 以 被 视 为 知识 对 象 和 可 以 被 扩充 知识 过 程 的 逻辑 结构 。 结 构 连接 对 
象 可 以 帮助 增加 知识 。 

在 2004 年 ，Richard Dazeley 和 Byeong - Ho Kang 引入 了 名 为 MCDR 的 增强 
混合 系统 [4 。 它 使 用 了 多 个 分 类 链接 法 则 (MCDR) ， 这 是 一 种 简单 而 有 效 、 结 
合 神经 网 络 的 知识 获取 技术 。 作 者 在 《An Augmentation Hybrid System for Docu- 
ment Classification and Rating》 (文档 分 类 和 分 级 的 强化 混合 系统 ) 一 文中 用 实践 
来 证 明 这 些 关 键 字 或 词组 ， 它 们 能 够 提高 获取 知识 的 能 力 。 关 键 字 不 足以 反映 其 
背景 ， 因 为 实际 生活 中 知识 在 缺少 方案 内 容 的 情况 下 是 不 完全 的 ， 因 此 它们 受到 
了 限制 。 

关于 知识 方面 的 细节 将 在 参考 文献 [5] 中 提 到 。 获 得 有 价值 的 信息 、 讨 论 
相关 检索 、 评 论 关 于 一 个 给 定 的 查询 是 其 满足 用 户 信 息 需 求 的 重要 手段 。 讨 论 方 
法 可 以 利用 各 种 各 样 的 渠道 进行 相互 结合 和 利用 。 评 价 显示 知识 适用 于 手头 的 紧 
急 任务 。 此 文 还 论述 了 关于 知识 增长 的 估计 。 

Bodenreider 和 Zang[l5] 提 到 ， 他 们 研究 的 目的 是 评估 知识 提升 中 提取 语义 关 
系 的 语义 集成 的 贡献 。 它 调查 了 多 种 增长 方法 ， 包 括 具体 化 、 概 念 修正 以 及 历史 
联想 法 。 

在 最 近 2009 年 的 研究 中 , 来 自 中 国 台湾 省 台南 成 功 大 学 电气 工程 专业 的 
Chen 、jJhing - Fa Wang 和 Jia - Ching Wang 提出 ， 一 个 视频 知识 浏览 系统 ， 它 可 
以 建立 一 个 基于 其 概括 内 容 的 视频 的 框架 ， 可 以 通过 使 用 在 线 相关 媒体 扩大 它 
们 5 。 因 此 ， 用 户 不 仅 可 以 方便 地 浏览 视频 关键 点 ， 也 可 以 重点 浏览 他 们 所 感 
兴趣 的 内 容 。 为 了 构建 基本 的 系统 ， 他 们 利用 之 前 的 转化 处 理 器 将 视频 转换 为 图 
表 。 关 系 图 建立 起 来 之 后 ， 然 后 进行 社会 网 络 分 析 探 索 网 上 相关 的 资源 。 它 们 也 
适用 马尔 科 夫 聚 类 算法 ， 以 提高 网 络 分 析 的 结果 的 准确 性 。 

当 想 要 机 带 显 示 出 智能 行为 时 ， 它 必须 能 够 增加 这 个 知识 。 在 这 里 ， 系 统 性 
知识 提升 是 了 解 特点 、 积 累 知 识 ， 并 从 系统 的 角度 表示 它 。 这 就 好 比 理解 不 同 部 
分 知识 之 间 的 关系 ， 和 建立 一 个 系统 性 的 可 以 在 不 同 的 方案 中 使 用 的 知识 视角 。 
多 方面 的 表达 式 需 要 进行 组 合 的 。 图 9. 4 描述 了 一 个 典型 的 多 智能 体 结构 的 知识 
构建 。 

图 9.5 描述 了 多 智能 体 结 构 的 学 习 系 统 开发 。 在 第 一 阶段 ， 系 统 性 目标 可 以 
推导 出 整体 知识 增强 的 过 程 。 性 能 测量 需要 完成 探索 。 自 适应 学 习 人 允许 选择 学 习 
策略 ， 学 习 者 根据 方案 和 决策 方案 评估 不同 的 行动 和 成 果 的 影响 。 当 用 贯穿 于 系 
统 的 不 同 参 数 观 察 该 影响 时 ， 决 策 者 通过 探索 学 习 了 这 些 结果 。 不 同 的 决策 者 可 
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天 次 人 者 
感应 决策 者 
知识 基础 


| 间 预 订 决 策 


图 9.4 知识 构建 的 多 智能 体 结构 





















巡查 占有 决策 者 









以 从 相同 的 决策 方案 中 建立 起 适合 环境 的 决策 。 





体系 目标 

















选择 学 习 策 略 


适应 性 学 习 和 学 习 者 














评估 学 习 
y 结果 的 影响 











图 9.5 多 智能 体 结构 的 学 习 系 统 开发 





在 学 习 相关 研究 人 员 在 各 个 领域 获得 知识 的 方法 后 ， 现 在 来 了 解 各 种 信息 收 
集 的 详细 信息 ， 包 括 知识 获取 和 探索 各 种 案例 研究 的 整个 生命 周期 。 知 识 和 关联 
性 在 某 种 程度 上 的 关联 关系 可 以 帮助 人 们 获得 知识 。 知 识 和 相关 性 增 量 产生 新 的 
事实 探索 显示 在 图 9.6 中。 知识 来 自 于 新 的 参数 ， 关 系 来 自 于 现 有 的 知识 基础 的 
参照 。 
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图 9.6 知识 和 相关 获取 


























9.3 知识 增长 和 知识 启发 


可 以 根据 收集 到 的 信息 、 时 间 顺 序 / 实 际 需要 的 顺序 和 实践 数据 库 产 生 知 识 。 
知识 启发 是 一 个 收集 信息 的 重大 阶段 ， 这 是 带 来 的 动作 或 得 出 新 事物 ， 定 义 它 为 
获得 逻辑 性 事实 的 一 种 方法 。 知 识 启发 方法 可 以 基于 战略 、 基 于 目标 或 基于 过 
程 ， 该 信息 可 以 有 不 同 的 形式 、 不 同 的 来 源 。 几 个 特殊 方法 的 细节 在 下 面 给 出 。 


9.3.1 策略 使 用 进行 知识 启发 


下 面 讨论 基于 各 种 问题 相关 技术 获取 信息 的 方法 。 

如 果 在 软件 项 目 开 发 的 情况 下 ， 客 户 端 首先 提供 了 问题 的 声明 。 基 于 该 给 
的 问 是 声明， 分 析 着 有 必要 提出 可 行 的 解决 方 案 ， 以 满足 不 同 要 求 ”包括 技术 和 
实践 。 为 了 分 析 客 户 的 某 些 隐藏 的 要 求 ， 有 必要 把 给 定 问题 进行 明确 的 说 明 。 

专家 要 解决 一 个 给 定 的 问题 ， 要 么 用 自己 的 经 验 要 么 使 用 各 种 适用 的 方法 ， 
包括 讨论 、 分 类 或 分 析 。 讨 论 的 问题 涉及 什么 是 当前 形势 、 发 生 了 什么 事 、 什 么 
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是 解决 给 定 的 困难 的 有 效 、 快 速 的 解决 方案 。 

问题 分 析 涉 及 将 问题 转化 为 现实 的 分 类 来 决定 应 用 的 策略 。 分 析 给 定 的 问 
题 ， 分 析 师 可 以 利用 各 种 网 上 可 以 利用 的 开 工具， 确保 使 用 之 前 使 用 过 的 方法 
(在 有 的 情况 下 ) 使 问题 得 以 快速 解决 。 从 不 同 的 开 系统 /工具 中 分 析 师 得 到 很 
大 的 帮助 ， 例 如 故障 根源 分 析 (RCA)、 思 维 导 图 工具 (MT) 、 原 因 分 析 工 具 
(CAT) 等 。 

该 分 类 流程 包含 一 定 的 标准 来 划分 所 收集 的 数据 ， 并 存储 在 不 同 的 数据 库 
中 。 学 习 政 策 可 以 通过 分 类 、 决 策 和 学 习 去 定义 相关 内 容 。 


9.3.2 基于 目标 的 知识 启发 


这 种 方法 描述 了 在 得 出 任何 解决 办 法 和 分 析 给 定 问 题 之 前 要 理解 学 习 目 标 和 
决策 目标 的 重要 性 。 在 此 情况 下 ， 知 识 采 集 是 基于 目标 的 。 学 习 系统 通过 专注 于 
当前 的 目标 来 收集 信息 ， 并 保持 逻辑 的 关联 和 所 处 环境 的 关联 从 而 进一步 获得 
知识 。 

根据 对 象 (如 果 需 要 ) 用 多 个 信息 源 和 聚集 的 协同 信息 的 学 习 系 统 ， 可 根 
据 特 殊 的 方案 设置 短期 /长 期 目标 ， 把 获取 知识 的 过 程 分 为 不 同类 别 ， 并 根据 优 
先 等 级 采取 行动 。 目 标 可 以 划分 为 不 同 的 类 别 ， 在 一 个 时 间 专 注 于 一 小 部 分 ， 从 
而 成 功 获取 知识 。 如 果 需 要 进一步 ， 树 状 决策 图 和 梯 式 递 进 概念 是 基于 目标 的 方 
法 中 卓有成效 的 知识 探索 。 


9.3.3 基于 过 程 的 知识 启发 


该 技术 描述 了 获取 信息 的 过 程 。 

1. 通过 基于 查询 的 响应 

该 阶段 包括 一 对 一 解决 问题 的 方法 。 相 互 作用 是 可 以 直接 作用 也 可 以 间接 
作用 。 

2. 收集 信息 源 

这 一 阶段 将 收集 所 有 相关 问题 的 信息 源 。 信 息 源 通 常 是 信息 库 、 文 件 以 及 类 
似 的 信息 来 源 和 网 址 。 























3. 协议 分 析 

该 阶段 依赖 于 一 些 规定 和 程序 去 分 析 问 题 。 它 包含 分 析 问 题 和 逐 项 找到 解决 
办 法 。 

4. 相关 关系 


问题 和 所 考虑 的 解决 办 法 之 间 要 建立 联系 。 统 计 的 方法 可 以 导出 相关 关系 ， 
相关 关系 需要 参照 方案 和 决定 方案 的 特殊 标准 。 
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5. 观测 
观测 是 基于 个 人 经 验 中 获得 的 结果 的 ， 这 有 助 于 避免 发 生 较 早 的 失误 或 错 
误 。 通 常 一 种 知识 可 用 于 在 新 的 和 类 似 的 情况 下 进行 探索 和 决策 。 


9.4 生命 周期 


数据 被 用 来 获取 有 意义 的 信息 ， 从 而 进一步 建立 更 高 深 的 知识 。 在 知识 构建 
过 程 中 ， 数 据 的 处 理 要 经 过 多 个 阶段 。 知 识 的 构建 与 学 习 过 程 是 紧密 相连 的 ， 知 
识 的 积累 通过 学 习 和 前 后 的 关联 来 构建 。 在 这 种 情况 下 ， 学 习 提 供 了 相关 方案 最 
需要 的 前 后 相关 的 细节 。 方 案 内 容 允 许 增加 关于 新 显现 出 的 知识 。 图 9.7 显示 了 
知识 的 生命 周期 。 

为 了 获取 知识 ， 它 的 生命 周期 就 必须 在 不 同 阶段 使 用 不 同 的 方法 、 技 术 和 工 
具 。 这 些 阶段 包括 理解 工业 的 网 络 ， 接 着 收集 原始 数据 ， 并 产生 /接收 最 重要 的 
部 分 的 信息 ， 这 是 共享 知识 、 重 用 知识 ， 增 加 知识 的 过 程 。 为 了 实现 知识 生命 周 
期 的 所 有 这 些 阶段 ， 有 必要 利用 各 种 学 习 机 /技术 方法 和 工具 /技术 。 
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图 9.7 知识 生命 周期 从 原始 数据 到 数据 获取 





其 中 一 个 重要 的 “先进 的 机 融 学 习 ” 的 模式 称 为 增 量 协同 学 习 方 式 ， 它 包 
括 “ 增 量 聚 类 ”。“ 增 量 聚 类 ”有 助 于 更 新 知识 与 最 新 的 信息 ， 这 对 管理 者 和 决 
策 者 做 出 有 将 的 战略 和 预测 是 非常 必要 的 。 在 机 器 学 习 中 知识 增长 产生 各 种 策 
略 ， 包 括 协同 学 习 、 自 适应 学 习 ， 而 最 重要 的 是 增 量 学 习 方 式 。 知 识 增 量 有 助 于 
保持 有 用 、 完 整 的 知识 ， 并 建立 在 它 之 上 的 进一步 认识 。 
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如 图 9. 8 所 示 ， 知 识 的 生命 周期 被 分 成 两 个 主要 部 分 ， 分 别 是 “决策 策略 ” 
和 “机 咒 学 习 策 略 ”。 决 定 的 做 出 由 决策 空间 、 决 策 组 件 、 标 准 和 准则 、 政 策 以 
ws “机 器 学 习 策略 ”包括 学 习 政策 、 智 能 组 件 、 工 具 和 技 
术 ， 它 们 提供 价值 给 社会 、 企 业 、 员 工 、 客 户 和 合作 伙伴 。 这 些 工具 可 以 进一步 
分 类 为 知识 创造 、 存储、 知识 利用 和 增强 。 





决定 策略 





创造 知识 存储 知识 运用 知 i 增加 知识 





机 器 学 习 策略 














图 9.8 基于 商业 和 机 顺 学 习 策略 的 知识 获取 





有 不 同类 别 的 知识 : 特定 领域 、 特 定 环境 、 情 景 方案 和 特定 决策 。 特 定 领域 
的 知识 描述 了 知识 与 特定 的 领域 和 产业 有 关 。 例 如 ， 在 软件 领域 ， 知 识 与 各 种 应 
用 程序 、 数 据 库 、 模 式 、 组 件 等 相关 。 特 定 环 境 知识 在 本 质 上 是 更 系统 性 的 ， 它 
与 环境 或 决策 空间 相关 。 相 关联 知识 更 多 的 是 与 决策 背景 和 决策 空间 相关 。 决 策 
有 关 知 识 取决 于 决策 结果 和 影响 。 例 如 ， 假 设 有 两 种 类 型 的 用 户 : 新 手 和 专家 ， 
所 以 新 手 用 户 对 某 一 特定 主题 具有 人 和 人 门 知识 ， 但 专家 用 户 对 此 却 有 详细 的 和 先进 
的 认识 。 


9.4.1 知识 水 平 


知识 增长 是 一 个 持续 和 渐进 的 过 程 ， 知 识 是 建立 在 形成 决策 的 基本 信息 的 基 
本 知识 之 上 的 。 这 是 基础 的 知识 构建 和 简单 推理 的 模式 ， 其 中 不 涉及 复杂 的 依赖 
关系 。 下 一 级 别 的 知识 是 关于 关系 、 映 射 和 依赖 关系 的 。 先 进 水 平 或 决策 级 系统 
的 知识 包括 上 面 提 到 的 在 决策 空间 的 不 同行 为 的 分 析 中 提 到 的 知识 。 现 在 讨论 随 
着 不 同 程度 知识 的 产生 和 知识 的 构建 。 


9.4.2 直接 知识 


直接 相互 作用 而 收集 到 的 信息 用 于 反对 假设 以 建立 直接 知识 。 通 过 使 用 各 种 
传感器 或 通过 各 种 决策 者 /智能 决策 者 ， 包 括 视觉 、 听 觉 、 感 觉 、 嗅 觉 和 味 党 在 
收集 直接 信息 时 非常 有 帮助 。 大 多 数 传感器 给 出 相同 的 输出 结果 ， 除 少数 的 情况 
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下 ， 例 如 ， 一 个 人 失明 的 人 也 将 会 观察 到 不 同 的 颜色 。 与 体验 相关 的 数据 可 以 被 
观察 人 员 感 受 转化 为 直接 的 知识 。 直 接 的 知识 为 构建 更 高 级 的 知识 体系 打造 了 
基础 。 


9.4.3 间接 知识 


学 习 是 基于 推理 的 ， 从 直接 知识 推导 的 知识 可 以 被 称 为 间接 知识 。 牙 义 是 间 
接 知识 主要 的 问题 之 一 ， 因 为 这 种 类 型 的 知识 的 获取 是 基于 知识 是 如 何 理解 的 ， 
知识 的 产生 ， 包 括 思考 、 理 解 等 流程 。 因 此 有 人 说 ， 间 接 知识 是 通过 处 理 信 息 来 
获取 知识 。 间 接 知识 是 靠 学 习 算 法 来 获得 的 。 

它 也 包括 直观 的 认识 。 在 典型 的 人 的 情况 下 ， 它 是 知识 存储 在 子 系统 存储 
恬 ， 而 不 是 可 访问 的 高 级 脑 功能 。 在 机 带 学 习 的 情况 下 ， 它 更 推断 事实 ,并且 基 
于 连续 推理 和 基于 方案 的 网 络 连接 不 是 直接 可 见 的 。 


9.4.4 程序 知识 


程序 知识 就 像 在 做 一 个 算法 ， 会 给 出 指令 告诉 一 步 一 步 该 做 什么 。 程 序 知 识 
是 一 系列 执行 特定 任务 或 活动 的 指令 。 程 序 知识 是 一 系列 知识 的 组 合 ， 可 以 及 时 
建立 知识 空间 。 这 方面 的 知识 源 于 通过 一 系列 个 人 的 探索 从 而 得 出 结果 。 程 序 知 
识 通常 有 助 于 理解 跟 预 期 结果 相关 的 结果 。 这 方面 的 知识 有 各 种 方面 : 如 测量 中 
间 结 果 、 了 解 序列 ， 并 依次 执行 操作 的 重要 性 。 


9.4.5 问题 


问题 或 疑问 将 有 助 于 创造 知识 ， 可 以 根据 环境 对 不 同行 为 的 响应 来 建立 这 种 
类 型 的 知识 。 这 些 问题 是 一 种 知识 的 差距 ， 学 习 中 的 问题 来 源 于 未 知 响应 。 问 题 
是 知识 获取 过 程 的 一 部 分 ， 这 是 发 现 未 知 的 一 个 过 程 。 例 如 ， 使 用 搜索 引擎 上 
网 ， 为 寻找 到 完整 信息 ， 可 能 会 问 一 个 问题 或 输入 关键 字 。 直 到 今天 ， 网 上 只 提 
供 基于 文本 的 搜索 引擎 ， 未 来 还 会 有 基于 图 像 搜 索 、 以 关系 为 基础 的 搜索 、 高 级 
搜索 、 网 络 搜索 滤波 和 布尔 搜索 ， 这 些 都 是 弥补 知识 差距 的 方法 。 问 题 在 建设 程 
序 知识 和 推理 知识 积累 方面 很 有 帮助 。 

搜索 问题 时 使 用 不 同 的 搜索 引擎 如 谷歌 和 Clusty ， 由 于 搜索 方面 的 不 同 ， 搜 
索 结 果 差 异 很 大 。 数 据 挖掘 的 背景 以 及 集群 和 机 器 学 习 的 概念 ， 起 着 非常 重要 的 
作用 。 


9.4.6 决策 


决策 是 行动 的 指令 。 决 策 的 问题 与 选择 和 程序 的 知识 相关 ， 它 们 可 以 影响 决 
策 。 在 替代 方案 中 的 条 件 选择 可 更 改 于 该 问题 的 答案 。 决 定 相关 的 知识 会 有 历史 
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性 的 影响 ， 可 以 决定 为 什么 一 定 的 程序 是 在 一 个 特定 的 方式 下 执行 的 。 决 定 用 于 
跟 决 策 的 影响 相关 的 知识 。 


9.4.7 知识 生命 周期 


知识 生命 周期 与 学 习 紧 密 相 关 ， 它 关于 怎样 建立 知识 、 怎 样 验证 知识 。 此 
外 ， 有 必要 在 新 的 方案 和 在 新 的 事实 下 重建 知识 “知识 增长 的 生命 周期 ”是 一 
个 永 无 止境 的 路 径 ， 它 随 着 新 的 信息 的 输入 不 断 进化 。 这 经 历 了 以 下 阶段 : 

1. 需求 的 认定 /了 解 情况 

为 了 获取 知识 、 了 解 整个 行业 的 详细 信息 、 了 解 程 序 信息 、 了 解决 策 和 学 习 
策略 等 ， 就 必须 知道 相关 的 所 有 环境 。 要 利用 数据 生成 工具 和 相关 技术 ， 获 得 原 
始 数据 是 至 关 重 要 的 。 然 后 基于 与 学 习 类 型 相关 的 所 有 需求 ， 使 用 各 种 聚 类 技术 
将 是 有 用 的 。 程 序 和 相关 的 信息 有 助 于 建立 相关 的 联系 。 

2. 收集 信息 /知识 获取 

这 一 阶段 包括 收集 来 自 不 同 信息 来 源 的 信息 ， 如 专家 的 经 验 、 研 究 论 文 、 书 
籍 、 网 站 、 知 识 储备 、 机 器 学 习 算 法 ， 包括 AL、BI 等 数据 。 这 些 信息 来 源 于 相 
关 的 联系 。 

3. 信息 分 析 
通过 应 用 各 种 合适 的 基本 分 析 方 法 (这些 分 析 方 法 可 以 包括 聚 类 、 分 类 、 
统计 排名 ) ， 原 始 数据 需要 被 存储 在 各 种 相关 的 组 里 ， 被 映射 到 不 同 的 优先 级 和 
决定 的 方案 里 。 这 些 相关 组 或 集群 将 被 用 来 生成 行为 模式 或 可 用 于 推断 行为 。 相 
比 于 以 图 表 或 文字 的 形式 聚集 的 数据 ， 以 图 案 的 形式 表现 信息 将 更 加 方便 分 析 师 
作出 有 效 的 决策 ， 以 执行 适当 的 分 析 ， 对 集群 进行 合并 或 分 割 可 能 是 必要 的 。 

4. 学 习 

系统 的 知识 是 知识 库 的 基础 形式 。 在 全 系统 学 习 中 ， 学 习 系 统 应 该 充分 利用 
所 有 可 用 的 数据 源 和 算法 。 随 着 对 系统 知识 的 开发 ， 新 的 方案 和 动作 的 探索 使 得 
人 们 能 够 从 经 验 中 学 习 。 学 习 的 概念 是 使 用 经 验 数 据 为 基础 的 知识 ， 而 系统 会 持 
续 探 索 在 新 的 方案 中 的 情况 。 下 以 一 家 软件 开发 公司 作为 例子 ， 它 已 经 成 功 开 发 
出 用 于 一 个 特定 银行 的 软件 系统 。 因 为 这 次 成 功 ， 另 一 家 金融 公司 找 它 为 自己 开 
发 一 套 系统 。 现 在 ， 如 果 相 关 知 识 已 经 构建 ， 为 银行 开发 软件 的 详细 信息 都 保存 
整齐 ， 采 用 数据 挖掘 技术 ， 相 同 的 程序 可 以 立即 移植 过 去 开发 新 的 软件 。 当 程序 
保持 相似 时 ， 产 品 和 客户 类 别 大 多 是 重复 的 。 应 用 先进 的 机 器 学 习 模 式 ， 获 得 的 
知识 可 以 反复 利用 。 但 在 其 他 应 用 情况 下 ， 这 将 是 开发 和 探索 的 组 合 。 现 实生 活 
方案 中 ， 有 两 个 问题 是 不 相同 的 ， 但 可 能 是 类 似 的 或 是 相似 的 。 基 于 这 些 相似 性 
的 学 习 ， 通 过 探索 差异 可 以 充实 知识 。 一 旦 这 个 软件 公司 在 金融 领域 出 名 之 后 ， 
其 他 的 金融 公司 也 会 委托 它 为 自己 开发 应 用 系统 ， 那 么 增 量 学 习 就 实现 了 。 
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该 阶段 涉及 存储 以 及 对 信息 的 检索 。 存 储 涉及 最 新 的 数据 库 的 延伸 、 网 络 技 
术 和 高 性 能 的 服务 器 。 检 索 过 程 包括 所 存储 的 信息 的 提取 和 获取 。 

5. 增强 

此 阶段 包括 对 知识 的 得 检 和 扩充 。 这 一 阶段 会 继续 扩大 知识 数据 库 ， 这 一 阶 
段 也 被 称 为 知识 的 强化 。 

正如 第 4 项 中 提 到 的 跟 学 习 相 关 的 和 在 之 前 的 内 容 中 解释 的 ， 原 始 数据 或 信 
息 将 以 基本 集群 的 形式 被 存储 。 从 技术 上 讲 ， 对 新 信息 的 获取 ， 必 须 更 新 这 些 新 
信息 的 集群 、 映 射 和 关系 。 有 关 这 些 关系 的 更 新 是 对 做 出 有 效 的 估计 是 很 必要 
的 。 现 在 的 问题 是 : 该 更 新 什么 样 的 集群 、 什 么 时 候 更 新 。 当 基本 集群 形成 ， 几 
个 集群 的 信息 包括 代表 时 间 / 数 据 系列 、 集 群 的 中 心 、 集 群 之 间 的 距离 和 集群 范 
围 也 被 存储 。 新 的 信息 的 特征 将 与 所 存储 的 /可 用 的 集群 的 信息 进行 比较 ， 随 后 
作出 决定 来 更 新 特定 集群 的 信息 。 如 果 已 形成 集群 的 特征 不 与 新 的 信息 匹配 ， 则 
需要 产生 新 的 集群 ， 这 些 完整 的 技术 将 以 贴近 算法 (CFBA)、COBWESB 以 及 其 
他 增 量 聚 类 算法 的 形式 整齐 地 保管 起 来 。 速 度 、 复 杂 性 、 可 扩展 性 、 存 储 器 利用 
率 以 及 其 他 技术 ， 每 一 种 方法 同 其 他 方法 都 是 不 同 的 。 












































9.5 增 量 知识 表达 


如 前 面部 分 讨论 的 ， 新 的 知识 不 能 马上 或 者 零散 得 直接 利用 。 有 效 知识 体系 
的 建立 需要 增加 知识 的 构建 和 典型 
性 的 代表 。 协 同学 习 可 以 促进 有 效 





的 知识 增长 ， 增 量 学 习 模 式 要 求 参 获得 表达 
照 原 有 知识 体系 获得 的 新 知识 ， 获 
得 新 知识 并 结合 自 适 应 特性 和 决策 至 


方案 去 进行 有 理由 的 相关 关系 的 角 




















区 决策 
色 转 换 。 图 9.9 描述 了 信息 流 和 知 理由 
识 表达 _ 
识 表 达 知识 表达 系统 
用 户 和 环境 行为 的 观察 可 以 帮 
助 建立 训练 实例 。 该 算法 对 这 些 训 图 9.9 信息 流 和 知识 表达 





练 实例 进行 实践 知识 的 获取 。 关 于 
环境 的 不 断 学 习 有 助 于 建立 增 量 知识 表示 。 背 景 知 识 通常 反 映 到 训练 实例 中 。 经 
验 需 要 以 知识 的 形式 来 表达 ， 使 以 后 的 学 习 更 有 效 。 渐 进 式 知识 构建 和 表达 与 新 
关系 、 新 集群 、 建 成 不 影响 过 去 相关 性 和 有 用 性 的 新 信息 相关 。 

假定 有 三 个 集群 (A，B，C) ， 每 个 有 10、11 和 15 个 数据 点 ， 每 个 集群 表 
示 与 特定 疾病 相关 的 典型 参数 。 假 设 遇 到 三 个 数据 点 代表 类 似 的 行为 集群 A， 但 
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是 探索 行动 决策 空间 结果 是 不 同 的 。 新 知识 构建 ， 可 能 会 影响 原 有 的 一 些 数 据 
点 ,但 是 集群 B 和 C 依然 是 完好 无 损 的 。 

基于 探索 的 知识 增长 结构 如 图 9. 10 所 示 。 机 融 学 习 的 算法 模型 中 ， 要 对 信 
息 建立 组 ， 并 确定 相关 性 ， 这 是 一 种 相互 作用 的 知识 表达 。 观 察 和 决策 允许 探索 
和 学 习 ， 这 种 学 习 是 基于 假设 的 。 与 环境 的 相互 作用 允许 重新 检验 这 些 假设 ， 知 
识 获 得 中 引进 了 对 决策 的 观测 和 影响 。 参 照 已 存在 的 组 可 以 让 新 知识 得 以 表示 。 
在 需要 的 时 候 ， 形 成 新 的 群 组 和 决策 映射 也 需要 根据 假设 进行 修正 。 
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决策 观察 


图 9. 10 ”以 探索 为 基础 的 知识 结构 
增 量 知识 表达 如 图 9. 11 所 示 。 知 识 表达 和 模型 的 相关 性 可 以 帮助 人 们 去 表 
达 新 的 知识 方案 。 数 据 采 集 系统 可 以 收集 数据 。 在 推理 和 认 知 中 ， 知 识 逐 渐 被 表 
达 出 来 ， 并 可 以 使 用 在 更 加 广泛 的 学 习 中 。 
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图 9. 11 增 量 知识 表达 
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9.6 案例 学 习 和 遗忘 学 习 


在 渐进 式 学 习 和 数据 转换 的 情况 下 ， 知 识 可 能 会 被 遗忘 ， 知 识 遗 忘 可 能 
导致 错误 的 内 容 和 视角 不 够 全 面 。 知 识 是 建立 在 类 似 问题 有 类 似 的 解决 办 法 
这 个 假设 上 的 ， 其 至 很 多 学 习 的 假设 是 建立 在 这 样 的 假设 上 的 。 当 系统 遇 到 
一 个 新 的 问题 时 ， 就 会 试 着 去 用 原 有 方法 解决 它 。 完 整 的 新 的 问题 产生 了 新 
的 学 习 机 遇 和 新 的 学 习 案 例 。 图 9. 12 描述 了 基于 问题 的 学 习 、 知 识 获取 和 
知识 再 次 利用 。 基 于 案例 和 问题 的 知识 收集 和 利用 被 用 来 建立 一 个 知识 学 习 
的 案例 库 ， 尝 试 着 从 经 验 中 提取 有 效 的 参数 从 相关 性 中 得 到 推论 。 其 至 根据 
经 验 顺序 ， 知识 将 会 被 二 次 利用 或 者 再 次 利用 。 在 探索 学 习 、 已 解决 的 案 
例 、 经 验 等 中 尝试 着 建立 某 种 联系 。 








知识 再 次 利用 



































知识 应 用 
} | 问题 现 } 
知识 基础 知识 收集 问题 现状 
知识 获取 新 问题 


图 9. 12 ”基于 问题 的 学 习 


图 9. 13 描述 了 知识 的 检索 、 再 利用 以 及 修正 方法 。 参 照 一 个 问题 进行 
知识 检索 ,为 了 应 用 进行 知识 的 再 次 利用 ,这 种 解决 办 法 正在 被 检验 和 
评 佑 。 
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图 9.13 知识 的 检索 、 再 次 利用 和 修正 

















9.7 知识 的 扩充 : 技术 和 方法 





知识 和 相关 性 的 增强 是 不 断 学 习 的 一 部 分 。 简 单 的 基于 内 容 的 方法 在 某 些 情 
况 下 是 有 用 的 ， 但 推断 为 基础 的 方法 证 明 中 的 复杂 问题 的 情况 下 更 有 用 。 在 本 节 
中 ,将 讨论 一 些 知识 、 技 术 和 方法 、 对 知识 的 扩充 。 


9.7.1 知识 增 量 技术 


各 种 技术 和 方法 已 被 开发 ， 以 帮助 从 专家 那 提 取 知 识 ， 无论 是 人 还 是 一 个 系 
统 ， 这 些 被 称 为 启发 式 知 识 或 知识 增 量 技术 。 这 是 强制 性 获取 知识 的 技术 也 可 增 
强 并 启发 知识 ， 例 如 假设 一 个 营销 商务 组 织 包含 有 关 其 整个 客户 数据 库 的 形式 的 
信息 ， 这 一 信息 收集 与 面试 技巧 的 帮助 [ 在线 /下 线 ]， 通 过 对 信用 卡 和 支出 细 
节 的 研究 ， 认 真 研 究 客户 的 购买 趋势 ， 以 及 许多 其 他 通信 和 和 信息 来 源 。 当 新 产品 
出 现在 市 场 上 时 ， 这些 相同 的 技术 会 很 有 用 。 通 过 采访 同一 组 客户 再 次 联系 到 新 
产品 ， 该 公司 将 获得 更 多 的 信息 ， 可 用 于 学 习 和 制定 战略 。 一 些 知识 增 量 技 术 用 
于 增 量 学 习 的 实例 如 下 : 

1. 协议 生成 

协议 生成 技术 包括 各 种 类 型 的 信息 收集 和 查询 ( 非 结 构 化 、 半 结构 化 和 结 
构 化 ) 、 报 告 技术 (例如 自我 报告 和 阴影 ) 和 观察 技术 。 采 访 是 通过 对 个 人 用 户 
/雇员 或 客户 私 底下 进行 的 。 在 线 反馈 系统 /客户 的 行为 分 析 也 将 提供 非常 有 用 的 
客户 的 详细 资料 。 如 果 在 线 反馈 系统 或 任何 其 他 软件 用 于 收集 采访 相关 的 数据 ， 
在 同一 软件 将 产生 各 种 报告 和 意见 。 
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2. 协议 分 析 

协议 分 析 技 术 用 于 生成 知识 基于 采访 、 知 识 以 文本 形式 以 及 类 似 的 其 他 形 
式 。 这 对 于 识别 知识 和 知识 的 一 些 重要 方面 有 帮助 ， 如 决策 目标 、 决 策 依赖 关 
系 、 关 系 和 属性 。 

3. 层次 生成 

层次 生成 技术 ， 形 成 不 同 的 知识 实体 之 间 的 层次 关系 。 

4. 分 类 

分 类 各 组 实体 必须 创造 知识 。 这 种 分 类 知识 ， 存 在 和 区 分 它们 的 关系 。 

5. 依靠 基础 

依靠 基础 的 技术 ， 包括 建造 和 使 用 概念 的 图 表 、 状 态 转 换 图 、 活 动 图 和 过 程 
图 。 这 些 图 对 影响 的 可 靠 性 和 支持 尤为 重要 。 条 件 概 率 和 类 似 的 技术 可 以 被 用 于 
识别 这 种 依赖 性 。 

6. 卡片 分 类 

卡片 分 类 有 助 于 在 概念 的 类 别 中 确定 部 分 模型 的 相似 性 。 这 是 一 个 非 正式 的 
过 程 ， 在 小 团体 中 的 效果 最 好 。 

有 不 同 的 知识 增 量 技术 ， 其 目的 是 要 保留 内 置 在 其 顶部 的 过 去 的 知识 和 进 一 
步 构 建 知识 的 基础 上 排序 、 映 射 和 勘探 的 知识 ， 并 参考 现 有 的 知识 基础 。 


9.7.2 知识 增 量 方法 


知识 增 量 的 方法 如 下 : 

1. 发现 、 差 别 共享 和 启发 

除了 上 面 提 到 的 知识 增 量 技术 ， 必 须 使 用 创新 性 /创造 性 的 方法 对 知识 进行 
扩充 。 根 据 这 些 方法 可 以 是 类 似 于 基于 映射 、 基 于 分 组 、 分 离 的 做 法 等 。 知 识 共 
享 对 推动 交流 有 重要 意义 ， 然 后 产生 的 知识 在 需要 时 都 应 该 被 重用 。 因 此 ， 命 名 
和 有 关 概 念 可 以 用 来 促进 沟通 、 调 整 、 突 出 差距 、 提 高 合作 学 习 、 提 高 知识 水 
平 、 促 进 合 作 的 理解 。 实 际 上 ， 它 的 目标 是 提高 知识 基础 和 决策 的 整体 素质 。 

2. 协同 知识 构建 和 映射 

关于 增长 的 知识 完整 明确 的 细节 需要 存储 在 知识 库 中 ,在 这 里 知识 在 新 的 探 
索 、 决 策 和 学 习 中 变 得 可 能 。 这 方面 的 知识 进行 分 析 ， 并 在 未 来 将 被 重用 理解 的 
含义 、 学 习 、 消 化 、 吸 收 等 。 

3. 进行 协同 知识 收集 和 调查 

在 协同 知识 收集 中 ， 使 用 技术 手段 来 调查 不 同 的 学 习 者 和 决策 算法 ， 采 用 枚 
举 技术 来 收集 信息 ， 感 知 环境 智能 以 建立 决策 所 需 的 情景 信息 。 提 高 合作 意识 中 
的 智能 决策 者 和 维持 认 知 多 样 性 ， 以 实现 多 视角 学 习 ， 并 且 防 范 的 视角 不 相关 也 
被 考虑 。 这 进一步 有 助 于 发 展 决 策 情景 中 的 方案 。 
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4. 写 模式 

行为 模式 捕捉 的 经 验 ， 可 以 帮助 映射 成 熟 的 解决 方案 ， 以 解决 共同 的 和 重复 
的 问题 。 这 个 过 程 可 以 将 标签 应 用 于 复杂 的 环节 促进 知识 获取 和 交流 。 思 想 的 交 
流 可 以 通过 有 效 的 使 用 模式 成 为 可 能 ， 而 且 模 式 也 提供 了 抽象 ， 对 知识 转移 给 整 
体 性 和 系统 性 方面 有 帮助 。 

5. 使 用 方式 

模式 组 可 以 在 它们 之 间 有 共同 的 纽带 ， 发 现 不 同 的 方案 之 间 的 连接 点 。 这 有 
助 于 简化 复杂 的 多 层面 问题 ， 并 确定 学 习 差 距 ， 通 过 网 络 相 结合 ， 映 射 已 知 模式 
到 新 的 解决 方案 。 模 式 语 言 的 引导 程序 将 敏捷 性 和 智能 聚集 起 来 。 


9.7.3 提取 知识 的 机 制 


两 种 用 于 提取 知识 传统 的 方法 ， 即 归纳 和 演绎 ， 用 于 提取 知识 。 演 绎 ( 提 
出 、 绘 制 出 ) 的 目的 是 特定 的 现象 ， 而 归纳 (引入 或 带 入 、 引 进 ) 是 针对 一 般 
的 事实 。 
9.7.3.1 演绎 

演绎 机 构 被 用 于 证 明 特 定 的 事实 ， 以 便 从 中 提取 知识 。 演 绎 从 广义 的 语句 到 
一 个 特定 的 事实 ， 它 可 以 帮助 用 户 获 得 更 详细 的 信息 。 之 前 内 容 所 讨论 的 推理 机 
制 可 以 用 于 演绎 。 演 绎 用 来 测试 声明 的 有 效 性 ， 它 还 确认 了 声明 的 真实 性 。 一 个 
公理 化 的 思维 演绎 方式 也 具有 教条 式 的 个 体 特征 ， 这 种 特征 是 基于 教条 假设 推理 
的 ,不 是 通过 普通 的 可 接受 的 科学 理论 。 
9.7.3.2 归纳 

归纳 机 构 从 一 个 特定 的 逻辑 转移 到 一 个 广义 的 事实 。 归 纳 方 法 允许 通过 添加 
更 多 的 事实 来 扩展 它 的 知识 。 据 John Stuart Mill 的 研究 ， 所 谓 “ 归 纳 ” 仅 适用 于 
未 知 实例 的 推理 或 多 种 基于 已 知 实例 观测 的 实例 。 归 纳 的 方法 趋向 于 降低 知识 的 
有 效 性 水 平 在 各 归纳 变换 步 又 的 结束 ， 因 此 根据 归纳 的 转换 信息 最 初 阶段 的 有 效 
性 绝 不 代表 已 获 推断 的 有 效 性 。 由 F. Bacon、J. Herschel、J.S.Mil 和 M.I Ka- 
rinsky 所 做 的 工作 都 大 大 推动 了 归纳 逻辑 的 系统 的 开发 。 当 代 哲 学 家 R. Carnap 
做 出 了 很 大 的 贡献 归纳 逻辑 。 

存在 的 各 种 技术 知识 的 归纳 改造 ， 各 有 其 特殊 功能 。 通 过 类 比 一 般 化 归纳 、 
推理 (类比) ， 并 通过 原因 - 结果 归纳 : 在 这 种 情况 下 ， 暂 时 区 分 以 上 事物 是 很 
重要 的 。 假 设 是 获得 新 知识 的 特殊 的 逻辑 机 制 。 一 个 不 言 而 喻 的 假设 通常 被 称 为 
公理 ,例如 证 明 编 译 器 是 一 个 系统 的 软件 。 该 技术 的 归纳 将 在 下 面 讨论 。 

1. 一 般 归 纳 

亚 里 士 多 德 写 道 : “… 归 纳 是 从 个 体 到 共性 的 通道 。” 概 括 归纳 是 归纳 的 基 
础 ， 因 为 它 是 基于 确定 的 已 接受 的 事实 而 来 的 。 在 这 个 例子 中 ， 推 广 了 系统 软件 
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的 定义 ， 并 设法 从 它 那 引导 一 些 东 西 。 

2. 类 比 

类 比 是 归纳 的 第 二 步 又， 并 且 基 于 一 个 公理 。 公 理 是 不 被 证 明 的 ， 但 被 认为 
是 真理 。 打 个 比方 ， 可 以 是 男 一 个 与 一 组 特定 的 相似 性 的 或 特别 设计 的 理想 的 模 
型 对 象 。 这 个 原因 一 结果 分 析 产 生 大 量 的 输出 信息 ,但 是 具有 较 低 的 有 效 性 
(真实 性 ) 的 水 平 。 在 这 个 例子 中 ， 生 成 一 个 公理 “汇编 程序 是 系统 软件 ”。 

3. 前 因 后 果 

这 一 步 是 实际 的 诱导 过 程 ， 因 为 它 证 明了 公理 , 采取 某 些 已 知 的 事实 和 不 同 
的 实际 例子 。 在 这 个 例子 中 ,使 用 编译 器 和 系统 软件 去 区 分 ， 并 证 明 是 真实 和 正 
确 的 。 

在 构建 知识 系统 学 习 时 ， 需 要 用 不 同 的 归纳 和 推理 机 制 来 建立 知识 。 在 这 种 
情况 下 ， 一 般 化 仅 限于 基于 广义 和 有 代表 性 的 行为 模式 集群 或 组 群 。 这 可 以 被 扩 
展 于 决定 方案 的 情况 。 














9.8 启发 式 学 习 


根据 最 优化 观念 和 过 到 的 多 种 问题 进行 启发 式 学 习 。 在 最 优化 问题 处 理 中 数 
据 控 掘 和 机 器 学 习 给 人 们 提供 了 很 大 的 帮助 。 数 据 挖掘 是 从 先前 已 知 的 事实 和 经 
验 性 的 细节 中 获取 主观 性 和 非 易 失 的 内 容 。 数 据 库 用 来 存储 收集 来 的 数据 。 男 一 
方面 ， 机 咒 学 习 也 要 研究 计算 机 算法 解决 更 多 的 问题 或 者 设计 新 的 技术 去 解决 
问题 。 

数据 挖掘 和 机 器 学 习 主 要 是 找 出 问题 所 在 。 新 方法 或 技术 的 设计 目的 是 在 算 
法 的 帮助 下 解决 问题 。 此 后 ， 新 的 运营 商 使 用 这 些 方法 去 探索 这 些 解 决 办 法 。 

据 Daniel Porumbel 的 论文 [中 ， 局 发 式 学 习 有 天 个 着 色 优 化 问题 ， 要 找到 两 
端 有 相同 下 个 着 色 的 最 小 化 的 数目 〈 节 点 ) 。 

在 机 需 学 习 概念 中 数据 挖掘 和 数据 库 技 术 是 有 用 的 基础 信息 ， 根 据 需求 进行 
整体 分 类 。 为 了 成 功 进 行 知 识 获取 ， 进 行 数据 收集 、 数 据 库 建 立 、 算 法 实现 、 系 
统 重 整 、 预 先 机 器 学 习 行 为 的 实现 这 些 都 是 很 有 必要 的 。 

包括 这 些 基于 收集 、 集 群 、 分 类 得 出 的 模型 和 图 解 的 细节 ， 都 是 去 分 析 进 一 
步 学 习 的 有 用 的 办 法 。 


























9.9 系统 性 机 器 学 习 和 知识 获取 











当 系统 性 学 习 有 系统 性 和 依赖 性 时 ， 机 咒 学 习 要 学 习 计 算 机 算法 。 机 需 学 习 
就 是 在 过 去 经 验 的 基础 上 使 将 来 能 做 得 更 好 。 但 是 这 还 不 是 充足 的 ， 预 期 的 是 系 
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统 能 在 相似 或 者 不 相似 、 简 单 或 者 复杂 的 情况 下 都 做 得 更 好 。 这 依赖 于 感知 或 者 
数据 分 析 ， 也 依赖 于 过 去 的 经 验 学 习 。 知 识 扩张 来 自 于 对 系统 的 参考 ， 同 时 知识 
也 依赖 于 基于 不 同情 况 的 决策 方案 中 的 行动 和 灵感 的 产生 。 

知识 获取 与 创建 的 关联 性 和 事件 的 特殊 直接 关系 有 紧密 的 关联 。 机 器 学 习 需 
要 考虑 人 类 的 知识 ， 也 依赖 于 思维 的 直接 性 或 者 精确 的 推论 。 就 解决 特殊 问题 而 
言 ， 人 们 需要 进行 决策 方案 的 重建 、 思 考 学 习 策 略 以 及 做 出 决策 。 知 识 最 重要 的 
特性 就 是 承上启下 和 语义 组 织 相关 的 事实 。 学 习 者 应 该 能 够 在 这 样 的 背景 下 识别 
这 些 有 意义 的 关系 。 随 着 做 出 决定 的 情况 ， 这 些 信 息 引 入 和 系统 参数 应 该 在 建立 
决策 方案 和 总 体 框架 上 完成 学 习 和 决策 。 基 于 知识 获取 的 机 器 学 习 变 得 更 容易 理 
解 和 解释 ， 有 标记 实例 的 机 器 学 习 使 预测 的 分 类 变 得 更 加 容易 。 
9.9.1 全 方位 知识 获取 

知识 的 扩充 是 构建 知识 并 改进 它 。 系 统 性 机 器 学 习 和 系统 性 的 知识 增强 都 可 
以 用 来 处 理 复杂 的 现实 生活 问题 并 做 出 决策 。 在 这 个 过 程 中 要 考虑 学 习 的 参数 、 
行为 和 决策 的 系统 性 影响 。 系 统 性 的 知识 增强 让 新 知识 和 新 知识 的 依赖 性 都 包含 
在 产生 系统 性 影响 的 知识 库 中 。 图 9. 14 描述 了 系统 性 知识 获取 的 过 程 。 

行为 创造 、 定 义 


pa MY 
培养 和 处 理 课程 学 习 


a 证 实 和 分 享 
nN 知识 成 果 ee 


图 9.14 系统 性 知识 获取 












































它 包含 了 基于 多 样 信息 来 源 的 交互 式 和 协同 式 的 知识 构建 。 系 统 性 知识 获取 
可 以 被 定义 为 :“ 通 过 影响 分 析 、 过 程 、 工 具 和 技术 理解 不 同 的 动作 和 实体 之 间 
的 系统 性 关系 。” 而且， 基于 环境 输入 的 系统 性 思维 方式 可 以 改善 、 持 续 和 开发 
知识 基础 中 的 重要 元 素 ， 它 包括 过 程 、 工 具 和 达到 目标 的 决策 空间 的 基础 学 习 。 
图 9. 15 描述 了 参照 决策 方案 的 知识 获取 和 重建 。 

知识 扩充 在 突出 的 知识 管理 中 非常 重要 。 在 这 个 过 程 中 要 求知 识 要 有 效 地 使 
用 和 规划 ， 而 且 面 临 着 战略 性 知识 增强 的 情况 下 ， 不 同 的 战略 和 不 同 的 技术 问 


题 。 这 些 问 题 包 括 : 
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1) 知识 规划 和 局 发 ; 




















2) 知识 传播 和 表达 ; 知识 获取 

ee dt 

4) 内 部 、 外 部 系统 结构 ; 

5) 知识 传播 和 转化 一 不同 的 。 小 入 和 和 应 用 0 
优秀 决策 者 ; 

6) 在 不 同 决策 方案 中 的 知识 
表达 ; ee sy , 


7) 系统 性 知识 的 最 优化 和 系统 
价值 创造 。 


这 些 不 同 的 功能 和 议题 与 系统 性 


知识 获取 相关 性 如 图 9. 16 所 示 。 系 图 9.15 知识 获取 和 重建 





统 性 知识 最 主要 议题 是 知识 转化 的 结 
构 、 流 程 和 事件 。 基 本 的 知识 需要 检查 是 否 满足 重复 使 用 性 和 影响 效果 。 


9.9.2 








十 程 的 知 I 转化 


(内 部 信息 ) 


特殊 事件 转化 
特殊 知识 的 内 部 过 和 
生生 Cape ) 人 
过 A 


内 部 事件 、 外 部 结构 和 特定 
方案 之 间 的 转化 


图 9.16 系统 的 知识 获取 议题 


系统 知识 管理 和 先进 的 机 器 学 习 


知识 管理 是 让 知识 可 以 高 效 利用 。 就 像 所 讨论 的 个 人 获得 的 部 分 ， 
准许 进行 知识 的 管理 。 知 识 启 发 代表 着 专家 如 何 做 出 不 同 寻 常 的 决策 ， 专 家 
和 更 好 的 决策 都 是 基于 原 有 经 验 进 行 的 多 次 尝试 的 结果 。 


使 用 知识 自 





es aa Mle nd 


讨 ， 系 统 性 学 习 可 以 让 人 们 随 着 时 间 的 推移 和 不 断 接受 新 事物 而 逐渐 建立 起 完 
的 知识 体系 。 系 统 的 机 器 学 习 证 明了 系统 的 知识 管理 是 非常 有 用 的 。 
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9.10 在 复杂 环境 下 的 知识 增 量 


实现 和 试验 机 器 学 习 算 法 来 增加 知识 的 重要 标准 是 获取 相关 知识 后 重复 使 
用 。 知 识 重 用 将 帮助 了 解 未 来 的 需求 ， 做 出 有 效 的 决策 和 减 小 工作 环境 的 压力 ， 
而 在 过 去 建立 的 知识 也 不 会 丢失 。 获 得 的 完全 不 同 的 结果 可 以 创新 性 地 应 用 于 所 
有 数字 域 、 数 字 集 应 用 。 

在 复杂 的 决策 问题 和 现实 生活 方案 中 ,不 同 的 决策 方案 还 有 相当 大 的 重合 。 
新 信息 和 关系 的 出 现 改 变 了 全 局 方程 ， 因 此 在 过 去 建立 的 集群 和 映射 需要 根据 新 
信息 和 决策 方案 被 有 效 利用 。 











9.11 案例 研究 


本 节 借助 于 计算 机 系统 和 智能 应 用 的 先进 机 器 学 习 算法 、 模 式 、 预 测 和 评估 
工具 以 及 技术 解释 了 “学 习 系统 如 何 建立 "。 已 经 考虑 从 不 同 领域 的 三 个 不 同方 
案 ， 包 括 财务 、 软 件 和 销售 营销 作为 案例 研究 。 


9.11.1 银行 案例 研究 


城市 一 家 银行 专门 设计 了 聪明 的 、 自 动 的 、 在 线 软件 应 用 程序 去 迎合 他 们 客 
户 的 所 有 需求 。 它 有 全 局 的 设置 包括 高 端 服务 器 、 连 接 到 网 络 的 个 人 机 器 、 庞 大 
的 数据 库 等 。 当 程序 在 两 年 前 开始 运行 时 ， 借 助 于 软件 开发 公司 和 银行 员工 的 帮 
助 ， 数 据 被 手动 存在 了 表格 里 。 包 括 日 期 在 内 所 有 的 条 目 都 被 标记 ， 在 在 线 或 离 
线 模 式 下 ， 系 统 具 有 完全 功能 。 根 据 这 些 关于 银行 客户 、 贷 款 、 业 务 创新 战略 政 
策 、 管 理 规范 等 初始 信息 ， 不 同 集群 (包括 中 心 集群 、 集 群 间距 离 、 阅 值 范 围 、 
代表 系列 、 功 能 集 等 ) 形成 ， 并 以 许多 模式 存储 在 数据 库 中 。 

在 日 常 基础 上 ， 为 了 许多 目的 使 用 这 个 应 用 程序 时 ， 许 多 数据 、 信 息 将 要 产 
生 。 这 些 数 据 也 许 涉 及 “ 开 一 个 新 银行 账户 ”、“ 资 金 转移 ”、“ 信 用 卡 文 付 ”、 
“偿还 部 分 贷款 ”、“ 开 新 的 固定 存款 ”、 “自动 续 订 固定 存款 ”、“ 购 买 黄金 ”等 
许 许多 多 。 

收集 客户 贷款 、 固 定 存款 、 黄 金 贷款 、 新 账户 等 新 信息 后 ， 基 本 集群 需要 更 
新 。 为 获取 异常 的 固定 存款 的 想法 ， 新 获得 的 知识 需要 在 集群 中 更 新 ， 以 此 来 分 
析 客 户 的 行为 ， 生 成 新 的 贷款 计划 等 ， 通 过 这 些 银 行将 增加 和 扩大 它 的 产品 证 明 
比 它 的 竞争 者 更 好 。 由 于 容易 获得 该 银行 全 部 范围 内 的 产品 增 量 集群 /增强 知识 ， 
银行 系统 通过 研究 生成 模式 将 快速 了 解 它 的 各 种 产品 、 频 繁 思考 新 鲜 主 意 。 图 
9.17 显示 了 知识 随 着 产品 建设 和 策略 而 增强 。 
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信息 化 建设 、 
客户 反 | 可 客户 详细 断 开 户 、 转 账 、 式 生 成 、 
局 问 题 | “| 数据 库 条 目 | | 信用 证 支付 | “| 要 到 征收 洒 




















获取 新 信息 、 押 
识 增 量 ， 发 生 时 ， 
更 新 群 组 和 相关 
模式 


了 解 现 有 客户 
( 增 量 学 习 ) 的 
新 细节 













图 9. 17 建立 银行 学 习 系 统 


9.11.2 软件 开发 公司 

















略 ， 在 市 
思路 


分 析 的 基础 上 增加 
知识 、 形 成 新 的 战 
市 场 投入 新 





考虑 一 个 中 等 规模 的 软件 开发 公司 的 例子 ， 这 个 公司 有 一 套 完全 满意 他 们 开 
发 的 系统 的 回头 客 ， 同 时 维护 也 是 被 同一 个 公司 处 理 。 这 家 软件 开发 公司 的 通常 
做 法 就 是 要 创新 ， 给 予 它 的 客户 增值 服务 ， 维 护 他 们 的 系统 等 。 该 公司 所 有 产品 
细节 /应 用 系统 开发 都 被 以 集群 的 方式 存储 方便 利用 ， 并 且 他 们 保持 无 压力 发 展 。 
以 前 开发 软件 获得 的 知识 在 需要 的 时 候 被 再 次 利用 ， 来 理解 即将 举行 /新 项 目的 





细 方 ， 同 时 处 理 来 自 客户 的 有 效 的 、 明 确 的 新 要 求 。 该 项 目的 细节 以 集 旭 





的 形式 


存储 包括 费用 、 开 发 时 间 、 团 队 规模 、 资 源 利 用 、 领 域 、 项 目 类 别 (产品 基础 / 


纯 软 件 工程 ) 、 链 接 SRS， 其 他 文件 /UML 图 等 。 


利用 集群 方法 的 基本 思想 是 容易 用 来 增 广 知识 的 。 增 量 学 习 方 法 是 最 适合 软 





件 开发 产业 的 。 
从 事 软件 开发 的 系统 学 习 步 又 包括 : 
1) 收集 项 目 相关 数据 。 
2) 形成 基本 集群 和 图 案 。 





3) 接受 来 自 客户 端的 新 要 求 (技术 变革 、 版 本 变革 、 新 功 


4) 更 新 相关 的 集群 。 
5) 再 利用 增加 知识 处 理 新 项 目 / 需 求 。 
6) 申请 增 量 学 习 技术 的 智能 软件 系统 的 开发 。 





全 bb 
月 E 


等 ) 。 


在 下 一 级 别 的 应 用 程序 ， 协 同和 多 维 学 习 被 用 于 收集 不 同 视 角 和 更 好 的 


决策 。 
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9.11.3 杂货 集 市 /零售 集 市 


杂货 店 集 市 是 许多 过 道里 展示 各 种 便于 购买 的 杂货 的 杂货 店 链 。 它 们 有 最 好 
的 数据 库 ， 包 含 了 所 有 产品 的 详细 信息 、 重 复 客户 的 详细 信息 、 客 户 的 消费 习 
惯 、 各 种 交易 的 优势 、 特 定时 期 购物 、 利 润 详细 信息 、 个 人 消费 者 赚 取 的 购物 积 
分 、 赎 回 的 积分 以 及 其 他 详细 信息 。 这 些 全 部 信息 以 分 类 的 形式 存储 ， 很 容易 为 
决策 、 正 式 交 易 等 检索 。 

一 旦 越 来 越 多 的 消费 者 更 愿意 在 杂货 店 集 市 购物 ， 他 们 的 详细 信息 就 需要 在 
相关 的 数据 库 中 被 更 新 。 专 家 系统 可 以 被 用 于 收集 那些 更 愿意 去 杂货 店 集 市 购物 
的 客户 信息 。 

为 了 保留 相同 的 客户 更 长 时 间 ， 需 要 定期 产生 新 颖 的 想法 ， 将 竞争 对 手 牢 记 
于 心 。 在 专家 系统 中 借助 于 行为 模式 的 增 量 学 习 和 增 量 聚 类 算法 对 于 通过 知识 的 
增加 和 再 利用 来 获得 更 多 商机 非常 有 用 。 

如 何 建立 杂货 店 学 习 系 统 如 图 9. 18 所 示 。 













































































久 量 新 协议 的 
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' | 
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更 新 数据 库 体验 的 “一 |] 学 习 新 功能 
问 据 可 新 学 习 新 功 人 














图 9.18 如何 建立 杂货 店 学 习 系 统 


9.12 小 结 


知识 的 增加 是 有 效 学 习 的 基本 要 求 之 一 ， 它 不 只 是 增 量 学 习 的 概念 。 知 识 的 
增加 是 关于 理解 现 有 的 知识 基础 、 决 策 方案 和 新 的 探索 的 事实 ， 知 识 的 增加 就 是 
在 所 学 知识 顶部 选择 性 地 构建 知识 。 该 系统 的 智能 行为 可 以 通过 有 效 的 知识 扩充 
和 系统 性 的 知识 扩充 展示 。 本 章 描 述 了 知识 增 量 如 何 伴 随 着 与 之 相同 的 系统 方面 
发 生 。 知 识 增 量 学 习 过 程 开始 于 对 知识 类 型 的 定义 ， 随 着 知识 获取 过 程 而 继续 ， 
终止 于 知识 增 量 使 用 建立 于 过 去 的 知识 基础 而 增加 的 过 程 。 连 续 的 数据 爆炸 和 新 
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技术 茜 昔 支撑 它们 是 今天 电子 世界 的 特点 。 ee 
的 方法 和 决策 ， 增 强 的 知识 始终 扮演 重要 的 角色 ， 不 论 该 域 属于 哪 一 组 织 。 这 
ee 而 新 数据 需 殖民 下 用 了 人 
用 。 在 动态 环境 下 的 背景 建设 和 数据 映射 是 所 有 知识 增 量 的 需求 。 学 习 系 统 的 智 
ss: 
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10.1 简介 


本 章 的 目的 是 研究 构建 学 习 系 统 的 方法 和 思路 ， 这 个 系统 可 以 处 理 一 些 由 传 
统 学 习 方法 观测 到 的 问题 。 使 用 到 目前 为 止 所 有 不 同 的 工具 和 研究 方法 ， 在 本 章 
将 讨论 构建 学 习 系 统 的 过 程 。 学 习 系 统 的 目的 是 可 以 利用 所 有 信息 资源 来 构建 一 
个 有 助 于 学 习 的 框架 。 很 多 系统 发 展 了 很 多 年 ， 这 些 系统 从 不 同 的 历史 中 学 习 。 
学 习 是 基于 经 验 、 文 字 资 料 、 图 像 、 目 标 、 计 划 、 言 语 、 对 话 和 过 去 的 知识 的 。 
一 个 高 效 的 学 习 系 统 需要 有 效 地 利用 所 有 可 使 用 的 信息 ， 这 个 学 习 系 统 要 考虑 到 
获得 数据 、 机 器 学 习 、 知 识 构建 和 知识 再 利用 的 所 有 方面 。 在 构建 一 个 学 习 系统 
时 ， 需 要 使 用 源 于 学 习 的 概念 、 探 索 的 应 用 和 完整 知识 库 的 开发 。 

构建 学 习 系 统 是 基于 系统 客观 现实 的 最 佳 估计 。 这 个 任务 需要 分 解 以 使 基于 
不 能 立即 观测 到 的 事实 的 学 习 成 为 可 能 。 知 识 的 构建 、 分 享 和 应 用 是 人 类 智力 的 
基本 方面 ， 任 何 学 习 和 智力 系统 必须 提供 这 些 方面 。 分 享 信 息 的 驱动 力 和 意愿 允 
许 从 古代 构建 知识 。 为 了 展示 智能 化 的 水 平 ， 系 统 需 要 学 习 来 形成 数据 、 关 系 和 
不 同 的 系统 参数 。 


























10.2 系统 性 学 习 系 统 


一 个 学 习 系 统 有 不 同 的 组 成 ， 这 些 组 成 和 系统 性 学 习 运 算法 则 一 起 使 系统 性 
学 习 成 为 可 能 。 这 些 组 成 包括 不 同 的 信息 资源 、 知 识 构建 组 成 、 协 作 学 习 、 方 案 
构建 、 知 识 增 加 和 不 同 的 其 他 组 成 。 系 统 性 智能 学 习 系 统 需要 处 理 开 放 的 、 动 态 
的 、 多 样 的 知识 构建 ， 用 来 高 效 地 处 理 新 方案 。 图 10. 1 描绘 了 系统 性 学 习 系 统 
的 一 个 简单 体系 结构 。 

一 组 智能 决策 者 (IA1 ~ IA5 ) 与 环境 和 彼此 之 间 相 互 作用 ， 并 连同 一 个 系 
统 性 学 习 模 块 使 得 系统 性 学 习 成 为 可 能 。 系 统 性 学 习 核 心 模块 有 针对 适应 学 习 、 
增值 学 习 和 多 视角 学 习 的 部 件 和 算法 。 为 了 解决 问题 ， 人 类 或 任何 其 他 系统 都 需 
要 人 工 智能 ， 至 少 对 计算 机 这 样 是 正确 的 。 学 习 和 知识 增加 是 人 工 智 能 的 表现 ， 
智能 化 需要 处 理 知识 ， 并 同时 获取 和 构建 关系 。 为 了 展示 这 种 行为 ， 计 算 机 需要 
在 环境 和 系统 中 获取 基于 数据 和 信息 的 知识 。 机 器 学 习 赋 予 了 计算 机 这 种 能 力 。 
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图 10.1 系统 性 学 习 系 统 的 体系 结构 





一 个 智能 系统 指 的 是 一 个 能 获取 知识 ， 包 含 系统 信息 并 整合 这 些 知 识 上 自动 做 出 决 
策 的 系统 。 最 重要 的 部 分 就 是 源 于 经 验 和 探索 开展 学 习 ， 系 统 自 我 设 定 生成 经 验 
并 对 新 经 验 学 习 的 能 力 是 它 最 重要 的 部 分 。 人 工 智 能 是 通过 训练 系统 、 分 析 和 行 
为 观察 、 推 理 和 其 他 方法 构建 的 。 这 种 智能 的 知识 增加 的 训练 和 学 习 有 助 于 构建 
一 个 系统 ， 得 以 不 断 自我 提高 并 因此 而 显示 提高 效率 和 效果 的 能 力 。 系 统 性 学 习 
系统 的 体系 结构 准许 它 和 环境 紧密 地 交互 。 

机 带 学 习 系 统 通 常 是 从 最 初 的 训练 和 知识 领域 开始 建立 的 ， 这 些 知识 是 在 一 
些 预 定义 的 有 标签 的 数据 库 中 获取 的 ， 用 于 训练 、 人 为 干涉 或 专家 指导 。 而 且 ， 
需要 测量 这 种 知识 的 有 效 性 和 产生 结果 的 精确 性 。 协 同 啊 应 的 知识 组 织 准 许 综 
合 、 分 析 和 测试 获得 的 知识 ， 这 能 够 帮助 学 习 系 统 跟 踪 它 的 学 习 能 力 并 测定 系统 
性 能 。 基 于 以 往 的 经 验 可 以 在 未 来 更 有 效 地 学 习 ， 并 建立 甚至 在 未 知 方案 中 也 有 
的 高 效 学 习 能 力 。 

学 习 系 统 有 不 同 的 组 件 ， 这 些 包括 多 主体 数据 采集 ， 各 种 学 习 模块 、 决 策 模 
块 、 传 感 涡 和 执行 占 。 一 个 典型 的 学 习 系统 有 如 下 组 件 : 

1) 学 习 单 元 (特征 分 析 、 选 择 和 更 新 ); 
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2) 学 习 策 略 选择 ; 
3) 知识 获取 程序 ; 
4) 系统 性 观点 和 方案 构建 组 件 ; 
5) 知识 库 ; 
6) 知识 采集 和 产生 ; 
7) 知识 扩展 和 再 利用 ; 
8) 决策 和 再 学 习 ， 
9) 性 能 测定 和 反馈 环节 ; 
10) 导师 一 练习 器 一 基于 指导 的 修正 程序 。 
图 10. 2 描述 了 最 少 组 件 学 习 系统 的 一 个 简单 形式 ， 这 个 图 包括 了 一 个 学 习 
单元 和 测量 单元 。 反 馈 系 统 应 把 学 习 系统 行为 的 修正 考虑 进去 。 
图 10. 2 描绘 的 学 习 系 统 的 组 件 如 下 : 
1) 学 习 单元 一 一 模式 和 参数 : 它 是 对 基于 输入 、 反 馈 和 与 环境 的 互相 作用 
负责 的 。 
2) 知识 库 : 知识 库 是 以 学 习 为 基础 构建 的 ， 而 知识 库 里 的 知识 是 在 学 习 和 
决策 时 加 以 利用 的 。 
3) 性 能 测定 单元 : 性 能 单元 基于 输出 测定 性 能 。 
4) 反馈 单元 : 它 基于 系统 性 能 和 预期 的 结果 给 系统 以 反馈 。 
5) 准许 测定 的 方法 : 系统 性 参数 是 通过 和 系统 的 互相 作用 测定 的 。 
下 面 将 详细 讨论 。 
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图 10.2 学 习 系 统 的 组 件 


10.2.1 学 习 单 元 


学 习 单元 接收 并 处 理 输入 信息 ， 这 些 源 于 专家 系统 、 一 些 标 准 输入 或 源 于 参 
考 资料 ， 例 如 杂志 、 期 刊 等 ,也 可 以 来 自 环 境 和 其 他 系统 。 这 个 单元 有 不 同 的 学 
习 运 算法 则 并 有 和 环境 相互 作用 的 能 力 ， 而 且 这 个 单元 与 知识 库 相 互 作用 并 利用 
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知识 库 里 可 用 的 知识 。 
10.2.2 知识 库 


知识 库 包 括 行为 模式 和 历史 信息 。 它 最 初 包含 一 些 基 础 知识 或 者 可 用 的 地 域 
知识 ， 后 来 它 根据 通过 经 验 或 由 于 行为 程序 获得 的 信息 构建 了 更 多 知识 。 在 容纳 
新 知识 时 ， 已 经 存在 的 知识 也 得 以 改善 。 这 不 是 仅仅 包含 数据 ， 而 且 有 基于 这 些 
数据 的 基本 知识 的 构建 ， 这 些 知识 以 关系 、 模 式 、 影 响 、 概 率 和 集群 的 形式 表现 
来 存储 着 。 


10. 2.3 性 能 单元 


性 能 单元 尝试 参照 预期 性 能 或 标准 的 结果 测定 系统 性 能 。 在 新 行为 的 情形 中 
为 了 探索 任何 活动 ， 需 要 测定 决策 的 性 能 。 性 能 系统 的 作用 就 是 测定 性 能 并 改正 
以 前 各 项 提供 指示 ， 这 个 单元 给 予 学 习 反 馈 并 在 连续 增加 的 学 习 环境 中 起 重要 
作用 。 


10.2.4 反馈 单元 


反馈 是 基于 错误 而 言 的 。 基 于 期 望 结 果 和 实际 结果 ， 给 定 反 馈 是 为 了 提高 结 
果 和 学 习 的 。 该 措施 是 为 了 改善 输出 结果 并 使 其 接近 于 期 望 结果 ， 是 一 种 典型 的 
有 监督 学 习 方案 。 反 馈 用 于 决定 纠正 措施 和 优化 学 习 系 统 ， 任 何 系统 都 可 以 有 不 
同 的 反馈 ， 这 些 反馈 包括 在 强化 学 习 中 来 自 环境 的 反馈 ， 也 可 以 是 在 有 监督 学 习 
中 来 自 专 家 的 反馈 。 强 化 学 习 中 的 反馈 以 激励 或 惩罚 的 形式 出 现 。 


10.2.5 人 允许 测量 的 系统 


专家 、 受 训练 的 人 或 者 是 计算 机 程序 都 有 能 力 得 到 正确 的 输出 并 由 已 证 实 的 
备案 生成 正确 的 结果 。 为 了 检测 机 器 学 习 系 统 生 成 的 结果 ， 在 相同 输入 的 情况 
下 ， 需 要 将 结果 与 标准 或 期 待 的 结果 相 比较 。 在 更 加 复杂 的 系统 情况 下 ， 可 能 没 
有 一 个 精确 的 标准 系统 或 仅 是 用 于 测量 趋势 的 基本 标准 系统 。 甚 至 对 于 更 加 复杂 
的 学 习 方 案 ， 学 习 可 以 增强 系统 性 能 。 

系统 会 持续 学 习 直 到 产生 期 望 的 输出 结果 ， 这 样 的 系统 对 训练 集 太 敏感 ， 对 
专家 输入 的 依赖 度 高 。 学 习 和 决策 阶段 相 结合 构成 比较 复杂 的 系统 ， 而 每 一 个 决 
策 阶 段 又 用 于 学 习 。 

有 一 些 因 素 会 对 性 能 产生 影响 ， 这 些 因素 如 下 : 

。 使 用 的 训练 集 ， 训 练 集 的 种 类 ; 

。 系统 和 不 确定 度 的 背景 及 知识 领域 ， 

。 反馈 机 制 和 准确 性 ; 
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。 对 系统 其 他 部 分 的 依赖 ; 

。 算法 的 使 用 和 选择 。 

这 里 有 其 他 的 不 是 学 习 系统 的 参数 也 对 学 习 系 统 性 能 产生 影响 ， 下 面 介绍 
几 个 : 

。 环境 和 不 同 的 组 件 ; 

。 决定 不 同 参 数 间 的 依赖 和 联系 的 技术 ; 

。 新 探索 和 参数 优化 ; 

。 识别 决策 方案 。 

学 习 可 以 分 为 有 监督 学 习 、 半 监督 学 习 和 无 监督 学 习 。 最 初 的 系统 学 习 是 有 
监督 的 并 且 参 考 已 知 方案 、 输 入 数据 和 环境 ， 在 监督 甚至 是 半 监 督 的 机 器 学 习 中 
同样 适用 。 训 练 集 可 能 由 为 特定 问题 精 选 的 各 种 样本 或 几 种 来 自 随 机 抽取 的 样本 
中 的 经 典 样 例 组 成 ， 样 例 包 括 各 种 事实 和 细节 ， 细 节 包 括 相 关 数 据 和 噪声 的 混 
合 。 在 定性 和 定量 的 情况 下 可 能 产生 反馈 。 在 采用 学 习 的 情况 下 ， 产 生 可 行动 的 
有 反馈。 反馈 可 能 有 定性 和 定量 的 方式 ， 学习 中 可 操作 的 反馈 有 限 。 正 确 的 、 可 靠 
的 及 相关 的 反馈 可 以 提高 整体 的 学 习 经 验 和 知识 构建 ， 这 可 以 提供 更 好 的 决策 知 
识 。 数 据 或 用 于 训练 的 数据 通过 资源 获得 ， 如 人 类 专家 、 文 档 、 相 互 影 响 和 反 
饶 ， 这 是 通过 推理 、 观 察 和 行为 模式 获得 的 。 环 境 / 系 统 性 知识 、 方 案 知识 及 其 
关系 构建 了 学 习 系 统 。 典 型 的 学 习 系 统 包含 学 习 者 、 学 习 系 统 和 教材 。 范 围 和 系 
统 各 组 件 因 为 复杂 的 学 习 和 来 自 图 片 的 动态 环境 增加 。 

领域 、 环 境 、 系 统 和 复杂 性 决定 机 顺 学 习 系 统 的 成 功 。 选 择 合适 的 算法 、 合 
适 的 训练 集 和 大 多 数 重要 的 决策 可 以 提高 机 带 学 习 系 统 的 性 能 。 根 据 学 习 目 的 和 
决策 方案 选择 学 习 策 略 和 技术 。 


10.3 算法 选择 


算法 的 选择 是 指 对 给 定 的 目标 在 几 个 功能 等 效 的 算法 中 选择 最 合适 的 算法 。 
选取 的 合适 算法 可 以 获得 高 通 量 、 低 成 本 和 低 功 耗 。 机 器 学 习 算 法 已 经 广泛 地 应 
用 在 文本 分 类 中 ， 这 些 机 器 学 习 算 法 有 支持 向 量 机 (SVM) 、 大 近邻 CENN) 、 朴 
素 贝 叶 斯 、 神 经 网 络 和 Rocchi 算法 。 接 下 来 将 会 讨论 其 中 一 些 算 法 。 
10.3.1 天 近邻 (ENN) 

kNN 算法 测量 查询 方案 和 训练 集 方案 的 距离 。 两 个 方案 间 的 距离 用 函数 4 
(x,，y) 来 计算 ,x、y 是 由 了】 个 特征 组 成 ， 比 如 x = |xi, x2，…， Xn) 及 y= 


1 ，》 ，…， 和 |。 再 用 给 定 的 方法 及 数据 进行 训练 ， 这 些 数据 和 方案 可 以 被 表 
示 成 多 维特 征 向 量 。 这 些 训练 的 特征 向 量 可 以 映射 到 期 望 的 输出 上 ， 被 标记 的 特 
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征 向 量 用 于 训练 。 在 分 类 阶段 ， 基 于 最 近 的 未 标记 训练 集 (或 标记 的 样本 ) 的 
特征 向 量 被 分 类 。 

通常 ，Euclidean 距离 用 于 距离 测量 ， 其 他 的 距离 测量 方法 根据 方案 和 数据 
的 类 型 也 可 以 被 使 用 。Euclidean 距离 可 以 由 下 式 计算 . 


dx,9) = 之 YR -Ni 
i=1 


10. 3.2 支持 向 量 机 (SVM) 


作为 一 种 统计 学 习 理 论 ，SVM 近年 来 由 于 它 的 两 个 鲜明 特征 很 流行 ， 其 一 ， 
SVM 与 具有 物理 意义 的 数据 联系 密切 ， 所 以 易于 解释 ; 其 二 ， 它 只 需要 一 个 很 
小 的 训练 样本 数 。SVM 已 经 被 成 功用 于 如 模式 识别 、 多 元 回归 分 析 、 非 线性 模 
型 拟 合 与 故障 诊断 等 多 种 应 用 。 它 分 类 的 基本 思想 是 : 中 把 数据 输入 转换 成 一 个 
高 维特 征 空间 ; 包 找 到 一 个 最 佳 超 平面 使 各 类 的 边缘 最 大 。 各 种 样本 中 最 接近 分 
离 超 平面 的 称 为 支持 向 量 。 


10.3.3 ”质心 法 


组 间 长 期 指标 和 内 部 长 期 指标 可 用 于 找到 质心 ， 这 些 指标 的 组 合 使 用 和 规范 
余弦 度量 可 用 于 计算 文本 向 量 和 质心 的 相似 性 分 数 。 给 定 一 个 语料库 类 C;,， 有 
两 种 经 典 方法 来 创造 C; 的 原型 向 量 。 算 术 平 均 法 通过 质心 计算 来 论述 : 

i 1 
ntroid, = -一 一 d 
Centro d 1C 之 

在 确定 不 同类 别 的 质心 之 后 ， 未 标记 的 文件 被 找到 最 接近 的 质心 的 文档 向 量 

分 类 : 

















C’ = argmax jd ， Centroid,) 

在 质心 的 文本 分 类 中 ,语料库 中 的 文本 通过 向 量 空间 模型 ( VSM) 表示 ， 
即 每 一 个 文本 都 是 一 个 向 量 空间 。 原 型 向 量 ( 即 质 心 ) 通过 作为 代表 向 量 的 每 
个 类 别 属于 那 类 向 量 的 所 有 文档 来 构建 。 当 分 类 一 个 未 标记 文件 时 ， 表 示 该 文件 
的 向 量 会 与 所 有 原型 向 量 进行 比较 ， 然 后 将 文件 分 配给 与 原型 向 量 最 相似 的 
文件 。 

基于 质心 分 类 融 的 性 能 很 大 程度 上 取决 于 原型 向 量 的 质量 。 许 多 研究 都 试图 
通过 反馈 调整 原型 向量 权重 如 阻力 推动 、 假 设 边缘 和 质心 法 来 提高 性 能 。 这 些 自 
适应 算法 的 性 能 一 般 优 于 传统 以 质心 为 基础 的 方法 。 有 些 甚 至 可 以 与 支持 向 量 机 
分 类 器 对 微观 Fl (micro -FL) 和 宏观 fl (macro -Fl) 的 评价 媲美 。 当 考虑 基 
于 质心 的 特定 领域 的 方法 时 ， 它 的 结果 也 是 很 有 效 的 。 
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10.4 知识 表示 





早期 人 工 智 能 (AIT) 时期， 人 们 认为 计算 机 智能 化 就 是 赋予 它 纯 粹 的 推理 
的 能 力 。 很 快 科学 家 们 意识 到 智能 的 训练 必须 涉及 与 外 部 世界 的 相互 作用 ， 这 就 
需要 对 那个 世界 的 认 知 。 人 工 智 能 的 探索 不 可 避免 地 会 涉及 对 计算 机 系统 知识 方 
法 的 发 展 。 反 过 来 ， 这 也 突出 如 何 通过 计算 机 来 表示 知识 的 问题 ， 因 此 出 现 了 研 
究 人 工 智 能 即 知识 表示 (KR) 。 在 人 工 智能 方面 , “KR” 通常 意味 着 寻求 精确 
的 知识 的 符号 表示 ， 这 种 符号 可 以 适用 于 计算 机 。 知 识 不 仅仅 是 事实 、 信 息 和 数 
据 ， 只 有 在 这 些 适 合 于 通过 一 些 它们 所 涉及 的 领域 的 普通 理解 来 提供 的 方案 ， 它 
们 才 可 以 构成 知识 。 

典型 性 知识 包括 典型 性 事实 和 典型 性 理解 。 这 通常 需要 某 种 介 于 代表 具体 事 
实 和 联系 彼此 关系 形式 的 一 般 模 型 。 知 识 表示 相 比 于 收集 个 别 事实 ， 更 注重 的 是 
这 个 模型 ， 并 且 它 也 注重 于 建立 一 个 框架 来 理解 事实 的 意义 。 

建立 这 样 一 个 框架 的 关键 是 要 赋予 计算 机 推理 的 能 力 。KR 是 真 的 KRR: 知 
识 表 示 和 推理 。 有 一 系列 的 一 般 规 律 和 个 别 事实 的 知识 ， 可 以 推理 出 更 深层 次 的 
个 别 事实 。 如 果 知 道 浦 那 在 马 哈 拉 施 特 拉 邦 ， 马 哈 拉 施 特 拉 邦 在 印度 ， 就 不 需要 
被 告知 浦 那 在 印度 ， 人 们 可 以 推断 出 。 假 设 知道 规则 : 任何 一 个 地 理 区 域 A、B、 
C， 如 果 A 在 B 里 ,B 在 C 里 ,那么 A 肯 定 在 C 里 ， 这 也 是 推理 的 一 般 规 则 
(推理 模型 ) 。 关 于 知识 推理 方法 模型 的 建立 是 知识 表示 的 重要 组 成 部 分 (或 
伙伴 ?) 。 

知识 表示 初步 使 用 词 袋 的 方法 来 给 每 个 文档 进行 文本 分 类 。 


10. 4.1 实用 方案 和 案例 研究 


文本 分 类 与 其 他 分 类 的 实际 情况 : 

。 光学 字符 识别 : 识别 图 像 的 特征 。 它 也 可 以 通过 字符 表示 的 手写 字符 图 
像 来 分 类 图 像 。 手 写字 符 图 像 识别 又 称 为 ICR 一 一 智能 字符 识别 。 

。 人 上 脸 检测 和 认证 : 识别 图 像 中 的 人 脸 (或 说 明 人 上 脸 在 面前 )。 

。 垃圾 邮件 过 滤 : 确定 邮件 为 垃圾 邮件 或 非 垃圾 邮件 。 

。 主题 定位 : 分 类 新 闻 文 章 (说 明 ) 是 否 为 政治 、 体 育 、 娱 乐 等 。 

。 口语 理解 : 在 一 个 限定 域 的 环境 中 ， 确 定 有 关 应 用 的 环境 和 决策 方案 。 

。 演讲 者 关于 某 些 事情 意义 的 表达 ,在 这 个 意义 上 ， 也 就 把 它 划 分 到 了 一 
个 特定 的 类 别 。 

。 医疗 诊断 : 诊断 病人 是 否 患 有 某 些 疾病 。 

。 顾客 细 分 : 例如 ， 预 测 哪些 顾客 会 对 一 个 特殊 的 促销 做 出 反应 。 
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是 一 


。 欺诈 侦 测 : 例如 ， 识 别 信用 卡 交易 也 许 实质 上 
。 天 气 预报 : 例如 ， 预 测 明天 是 否 会 下 雨 。 


个 欺诈 行为 。 


10.5 学 习 系 统 的 设计 


为 了 说 明 一 些 基本 的 设计 问题 和 机 器 学 习 方 法 ， 思 考 一 个 可 以 按照 预定 义 分 
类 方法 分 类 文本 的 文本 分 类 系统 。 一 旦 这 个 系统 建立 ， 它 就 会 用 来 确定 未 来 未 被 
分 类 的 文本 的 种 类 。 这 里 采取 一 个 显而易见 的 性 能 测量 方法 : 此 文本 分 类 系统 能 
够 正确 分 类 文本 的 百分比 。 

要 面临 的 第 一 个 设计 选择 就 是 ， 从 系统 将 要 学 习 到 的 内 容 中 选择 训练 经 验 的 类 
型 。 可 用 的 训练 经 验 的 类 型 对 于 学 习 者 的 成 功 和 失败 有 非常 显著 的 影响 。 一 个 关键 属 
性 是 ， 关 于 执行 系统 的 选择 ， 训 练 经 验 能 否 提 供 一 个 正确 或 错误 的 反馈 。 

有 监督 机 器 学 习 依 赖 于 标签 数据 。 这 包括 了 文件 的 初始 设置 S, = |di, d,,…， 
d,| 。 这 些 都 是 标签 文件 ， 因 为 它们 之 前 都 在 特定 范畴 Class; = 71, 区， …, 7| 下 
进行 了 分 类 ， 系 统 在 此 基础 上 进行 运作 。 这 形成 了 原始 矩阵 并 且 此 矩阵 通常 是 正确 的 
( 见 表 10.1)。 
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表 10.1 训练 集 和 测试 集 
训练 集 (标签 数据 ) 测试 数据 
Di ds de d, 
RI Classii Classig Classi( s+1) Classi, 
Tr; Classil Classi, Classi( 41 ) Class;, 
六 Classy Classme Classn(g +1) Class,,, 
注 : 训练 集 是 在 有 监督 学 习 中 用 于 训练 系统 的 一 组 文件 或 者 标签 样本 。 测 试 集 是 用 来 测试 分 类 器 和 学 习性 
























































能 的 。 测 试 集中 的 所 有 文件 都 是 被 测试 的 ， 并 且 都 经 过 分 类 器 进行 了 分 类 ， 输 出 也 和 专家 意见 进行 了 比较 。 





10.6 让 系统 表现 得 更 智能 

智能 性 能 依赖 于 系统 的 知识 库 和 系统 对 新 方案 反应 的 能 力 和 算法 。 在 特定 时 
刻 的 智能 的 行为 也 许 并 不 是 真正 的 智能 ， 因 为 过 一 段 时 间 后 可 能 会 意识 到 它 的 缺 
点 和 副作用 。 传 统 的 智能 系统 结构 也 就 是 基于 模式 的 或 者 基于 历史 知识 的 系统 ， 
这 都 限制 了 系统 的 性 能 。 系 统 性 智能 系统 需要 一 个 特殊 的 结构 ， 并 且 能 够 随 着 控 
索 不 断 地 进化 其 智能 程度 
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10.7 案例 学 习 


所 有 的 监督 式 学 习 结构 和 算法 都 是 基于 不 同 的 实例 的 学 习 ， 并 且 这 些 实例 都 
要 是 机 融 可 以 理解 的 格式 。 这 些 在 不 同方 案 下 的 各 式 各 样 的 实例 都 是 实例 学 习 的 
训练 集 。 也 许 会 有 多 个 相似 的 实例 产生 相似 的 结果 ,但 是 在 一 些 方 案 中 ， 轻 微 差 
异 的 实例 也 会 产生 不 同 的 结果 。 这 些 实例 可 能 会 覆盖 许多 可 能 的 方案 并 产生 显著 
的 决策 影响 。 实 例 十 分 典型 地 表现 了 决策 方案 和 协同 响应 的 结果 。 这 里 给 出 了 基 
于 实例 的 学 习 ， 并 且 给 出 了 结果 产生 的 每 一 步 以 方便 学 习 。 在 这 种 情况 下 ， 越 来 
越 多 的 例子 和 方案 被 给 出 以 学 习 。 在 一 个 新 的 未 知 的 情景 中 ， 针 对 这 一 情景 的 探 
索 和 结果 被 用 于 未 来 学 习 的 实例 。 实 例 提供 的 方案 和 事实 有 助 于 建立 方案 。 通 常 
情况 下 ， 这 种 方法 在 结构 良好 的 实例 中 工作 效果 好 。 当 实例 中 的 信息 不 全 面 时 ， 
学 习 就 需要 超出 实例 去 进行 。 当 然 ， 如 果 数 量 足 够 多 、 范 围 足 够 广 的 实例 被 用 于 
学 习 ， 那 么 实例 学 习 有 助 于 建立 起 一 个 全 局 的 学 习 方案 。 虽 然 多 个 学 习 者 可 以 通 
过 他 们 自己 的 经 历 和 可 用 参数 来 学 习 ， 方 案 却 要 基于 他 们 之 间 的 不 同 智能 决策 者 
间 的 相互 作用 来 建立 。 理 解 方案 是 在 每 一 个 智能 决策 者 和 环境 、 其 他 智能 决策 者 
以 及 专业 知识 的 输入 相互 作用 下 发 展 的 ， 有 助 于 理解 整体 的 系统 结构 ， 这 有 助 于 
决策 制定 方案 的 建立 。 每 一 个 智能 决策 者 说 明 他们 的 经 验 ， 而 不 是 仅仅 依靠 基于 
过 去 学 习 产 生 的 知识 库 。 知 识 表 示 、 决 策 制定 和 推理 是 基于 经 验 的 协同 学 习 三 个 
重要 的 方面 ， 当 然 解释 知识 、 价 值 和 相关 性 也 是 必 不 可 少 的 。 



























































10.8 整体 知识 框架 和 强化 学 习 的 应 用 


整体 学 习 框 架 与 环境 相互 作用 ， 全 书 讨论 的 目的 就 是 建立 决策 方案 。 这 里 的 
方案 指 的 是 理解 学 习 时 的 现状 、 不 同 参数 和 相关 性 。 这 其 中 包括 了 代表 性 的 和 相 
关 性 的 参数 ， 以 及 它们 之 间 的 关系 。 学 习 者 和 智能 决策 者 与 环境 相互 作用 及 它们 
内 部 之 间 相 互 作用 ， 在 这 个 相互 作用 的 过 程 中 ， 它 们 探索 环境 、 方 案 及 决策 参 
数 ， 解 释 新 经 验 并 在 经 验 学 习 中 发 挥 作用 。 受 智能 决策 者 和 学 习 者 已 建立 的 知识 
的 影响 ， 决 策 者 对 事实 和 经 验 的 开展 新 探索 。 即 使 通过 这 种 解释 建立 的 知识 也 只 
是 对 知识 库 进 行 更 新 。 这 是 一 个 持续 的 过 程 ， 因 此 建立 和 扩展 知识 一 直 在 进行 。 
整体 学 习 带 来 了 经 验 、 参 数 、 方 案 以 及 决策 方案 ， 其 为 决策 制定 提供 了 一 个 更 宽 
广 的 背景 ,因此 在 这 种 方案 下 的 学 习 是 交互 式 和 动态 的 。 整 体 学 习 框 架 试 图 建立 
知识 ， 并 且 这 种 案例 下 ， 学 习 实 质 上 是 交互 式 的 知识 建立 。 

强化 学 习 本 质 上 是 试图 在 学 习 过 程 中 利用 并 探索 知识 。 时 间 差 分 学 习 可 以 不 断 
地 接收 到 反馈 ， 为 持续 的 学 习 纠 正 行为 。 在 系统 不 同 部 分 和 字符 实体 间 的 互动 也 暗示 
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出 了 互动 的 贡献 ， 并 且 这 有 助 于 解释 在 系统 的 方案 中 的 参数 和 字符 实体 ， 并 在 决策 方 
案 中 进行 权衡 。 尽 管 个 体 学 习 者 的 方案 是 一 个 灵活 的 概念 ， 协 同学 习 的 概念 却 为 决策 
方案 建立 了 一 个 方案 ， 这 从 学 习 和 扩展 知识 的 视角 看 是 十 分 重要 的 。 为 了 从 学 习 的 视 
角 理 解 互动 的 重要 性 ， 理 解 环境 属性 、 系 统 结构 以 及 决策 方案 是 非常 必要 的 。 经 验 和 
探索 往往 来 自 于 行动 ， 并 且 这 些 行动 对 系统 产生 的 影响 一 一 特别 是 和 决策 方案 的 关 
系 是 要 被 考虑 的 。 在 下 一 个 阶段 ， 获 取 的 知识 代表 着 为 决策 制定 所 使 用 和 在 方案 中 更 
深入 的 应 用 ， 随 着 新 的 情况 和 活动 不 断 重 建 而 进化 。 整 体 学 习 与 学 科 和 概念 相互 关 
联 ， 它 为 这 些 概念 之 间 建 立 了 更 进一步 的 关系 。 这 些 概念 一 并 用 来 建立 整体 决策 方 
案 。 下 面 先 来 讨论 一 下 普通 的 机 器 学 习 结构 ， 然 后 再 整体 学 习 优化 它 。 

先 来 考虑 一 个 有 两 个 子 系统 的 简单 系统 。 这 里 有 三 个 智能 决策 者 、 一 个 知识 
库 和 一 个 知识 获取 模块 。 环 境 感知 参数 |el ，e ，…，en} ， 子 系统 Sb 的 行为 参 
数 {pu, Pi2,， ***， Pim| ， 同样 子 系统 的 行为 Sb, 参数 用 | p21, P22,， …， Pom | 
表示 。 一 系列 的 行为 模式 被 存储 在 知识 库 中 ， 并 且 和 决策 方案 相关 联 ， 并 提供 相 
应 的 建议 动作 、 预 测 和 决策 。 

参数 选择 模块 试图 为 每 一 个 子 系统 的 决策 方案 选择 出 相应 的 参数 ， 而 且 所 有 
的 决策 参数 是 被 优先 化 的 。 对 于 未 知事 件 的 每 一 个 探索 和 新 动作 ， 参 数 在 一 段 时 
间 内 一 直 在 子 系统 中 被 追踪 ， 以 此 来 计算 奖励 和 惩罚 。 每 一 次 ， 决 策 方 案 都 是 基 
于 所 有 的 信息 才 被 确定 下 来 ， 而 这 又 用 来 决定 学 习 策略 。 

这 一 概念 可 以 通过 不 同 的 组 件 开 发 ， 比 如 过 去 史 、 背 景 知 识 、 经 验 、 案 例 研 
究 和 例证 以 及 逻辑 论证 等 。 有 不 同 的 策略 和 统计 方法 ， 如 在 图 10. 3 中 所 示 ， 它 
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图 10.3 ”机 器 学 习 : 总 体 框架 和 体系 结构 
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们 最 终 都 导向 决策 规则 、 分 类 、 集 群 等 。 可 以 根据 发 现 的 知识 和 看 到 的 维度 来 使 
用 。 选 择 一 个 适当 的 和 有 效 的 方法 ， 例 如 选择 粗糙 集 的 方法 。 通 常 方法 选择 是 根 











据 分 类 或 集群 的 需要 ， 并 得 出 结论 。 
10. 8.1 智能 算法 的 选择 

















算法 基本 的 选择 是 基于 所 选择 的 策略 或 方法 。 例 如 ， 如 果 分 类 是 标准 ， 它 可 
以 是 粗糙 集 、 人 工 神 经 网 络 、 贝 叶 斯 分 类 等 ， 它 取决 于 策略 选择 。 为 不 确定 性 可 
以 添加 模糊 集 ， 因 而 可 以 为 不 精确 性 添加 粗糙 集 。 图 10. 4 描述 了 特征 选择 中 粗 
糙 集 的 用 法 ， 图 10. 5 描述 了 处 理 不 可 见 数据 人 工 神经 网 络 的 用 法 。 
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图 10.4 ”特征 选择 的 基于 粗糙 集 的 算法 
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图 10.5 可 见 和 不 可 见 数据 的 神经 网 络 的 算法 


逻辑 推理 和 基于 方案 学 习 可 以 用 于 系统 性 的 学 习 和 决策 。 图 10.6 描述 了 逻 
辑 推 理 、 基 于 方案 学 习 和 用 于 相同 情况 的 不 同方 法 的 应 用 。 
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图 10.6 基于 逻辑 推理 和 方案 学 习 的 算法 

















10.9 智能 决策 部 署 和 知识 采集 以 及 重用 





没有 有 效 知 识 获取 和 重用 的 系统 学 习 是 不 可 能 的 。 有 效 的 采集 要 求 智 能 的 决 
策 ， 这 些 都 是 典型 的 分 布 式 系 统 。 这 些 决 策 感知 环境 、 结 果 和 不 同 视角 的 行动 ， 
从 而 智能 地 决定 本 地 的 行动 。 同 时 ， 这 些 决 策 需 要 有 自己 的 观点 ， 可 以 发 生 决 
策 ， 它 们 应 该 有 能 力 协同 学 习 。 优 先 展 现 和 评估 个 体 决 策 系 统 和 应 用 领域 ， 下 面 
列 出 决策 技术 部 署 中 的 典型 决策 概念 。 

1. 合作 

决策 技术 的 列表 (主要 基于 复杂 合作 案例 和 不 同 的 合作 执法 机 构 ) 之 间 的 
协调 促进 自主 行为 。 协 调 通常 支持 解决 冲突 和 避免 碰撞 、 资 源 共 享 、 计 划 合 并 以 
及 行为 的 各 种 集合 。 不 同 的 决策 协调 自己 获取 知识 和 经 验 的 构建 ， 知 识 被 共享 和 
提高 。 

2. 沟通 

各 种 谈判 、 拍 卖 技术 有 利于 在 几 个 自我 利益 的 行为 或 者 决策 中 做 到 共同 决定 
的 意见 统一 。 在 这 里 ， 主 要 强调 谈判 的 协议 和 机 制 、 每 个 独立 行为 应 如 何 操作 以 
及 它们 的 行为 优化 应 该 采用 的 策略 是 什么 。 这 是 一 种 合作 学 习 在 谈判 发 生 有 关 的 
最 优 决策 。 

3. 仿真 

互相 行为 的 集体 动作 检查 的 技术 ， 提 供 个 人 决策 的 模型 是 已 知 的 。 仿 真 可 用 
于 学 习 。 
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4. 互 操作 性 

决策 应 在 它们 之 间 互 动 。 有 效 的 互 操作 性 ， 有 助 于 合作 学 习 和 决策 。 决 策 者 
应 该 能 够 一 起 工作 ， 并 了 解 由 其 他 决策 建立 的 知识 一 一 它们 应 该 使 用 相同 的 语言 
来 合作 。 

5. 组 织 

决策 支持 的 技术 应 该 有 在 永久 的 或 暂时 的 交互 、 协 作 结 构 (虚拟 组 织 ) 、 分 
配角 色 、 建 立 并 遵循 规范 或 者 遵循 电子 体系 等 方面 的 自主 组 织 能 力 。 

6. 分 布 式 学 习 和 推理 

对 于 多 智能 体 的 群体 ， 有 不 同 的 方法 允许 决策 形成 可 用 的 决策 假说 。 这 些 方 
法 的 工作 主要 是 与 决策 的 沟通 或 过 去 行为 的 日 志 。 决 策 群 体 还 提供 技术 用 来 合作 
和 分 布 式 学 习 ， 决 策 者 可 能 分 享 学 到 的 假设 或 观察 到 的 数据 。 一 个 典型 的 应 用 领 
域 是 分 布 式 诊断 。 协 作 和 合作 通过 不 同 的 通信 装置 完成 。 

7. 分 布 式 规划 

在 自主 协作 决策 者 间 实 施 规 划 时 ， 使 用 特定 的 协同 方法 和 信息 共享 。 决 策 者 
群体 在 分 布 式 规划 的 五 个 阶段 (任务 分 解 、 资 源 分 配 、 解 决 冲突 、 个 体 规划 及 
规划 集成 ) 中 提供 知识 分 享 、 转 让 和 协同 的 方法 。 当 知识 在 规划 中 无 法 使 用 时 ， 
这 些 方法 特别 适合 这 种 情况 。 信 息 共 享 通过 公共 数据 集 或 其 他 手段 。 

8. 知识 共享 

技术 支持 共享 知识 并 理解 不 同类 型 之 间 协 作 的 各 方 的 知识 以 及 方法 ， 人 允许 半 
信任 决策 集体 共享 部 分 知识 (分布 式 学 习 和 分 布 式 规划 紧密 相连 ) 。 

9. 信任 和 声誉 

这 些 方法 允许 每 个 决策 者 建立 信任 模型 并 共享 决策 者 相关 的 声誉 信息 。 信 任 
和 声誉 用 于 非 协同 场景 ， 此 时 决策 者 可 能 展现 不 信任 和 欺骗 的 行为 。 

“系统 性 学 习 ”， 需 要 部 署 智 能 决策 和 确定 所 有 的 信息 源 。 进 一 步 的 智能 决 
策 需要 具备 上 述 特性 的 系统 的 知识 获取 和 协同 决策 。 







































































10. 10 ”基于 案例 的 学 习 : 人 体 情 感 检 测 系统 


更 早 以 前 人 们 认为 ， 机 器 被 训练 得 像 人 一 样 来 理解 人 类 的 情感 ， 如 何 使 机 器 
实现 这 个 目标 是 训练 的 各 个 方面 。 上 面 讨论 的 所 有 策略 可 以 实现 ， 并 选择 最 合适 
的 和 相对 较 好 的 结果 策略 。 一 个 广义 的 案例 学 习 结 构 如 图 10.7 所 示 。 

基于 案例 的 学 习 有 一 个 完整 的 案例 知识 库 和 推理 。 以 往 的 案例 或 知识 库 中 的 
实例 作为 参考 。 当 学 习 进 一 步 发 生 时 ， 使 用 和 增强 知识 库 。 在 新 方案 的 情况 下 ， 
从 知识 库 中 检索 类 似 情 况 ， 本 例 参考 的 是 相关 性 和 相似 性 分 类 。 此 外 ， 学 习 是 在 
新 的 情况 、 相 似 的 案例 和 相关 探索 、 经 验 和 输出 的 非 相 似 案例 的 基础 上 发 生 的 。 
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检索 “所 相似 或 匹配 的 案例 
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重新 训练 < 一 可 利用 的 解决 方案 
的 经 验 


图 10.7 基于 案例 的 学 习 结构 


一 个 典型 的 基于 案例 的 学 习 周 期 如 图 10. 8 所 示 。 






































人 新 情景 或 案例 
推断 案 例 
相似 案例 
重新 利用 重新 训练 
解决 方案 验证 方案 














修改 
图 10.8 基于 案例 的 学 习 周 期 

















举 一 个 情感 检测 系统 的 例子 ， 它 可 以 用 不 同 的 方法 ， 可 能 有 不 同 的 成 分 。 简 


单 的 基于 特 得 

































































FE 传统 包 的 方法 如 图 10. 9 所 示 。 同 样 的 问题 可 以 处 理 使 用 一 个 系统 
i 隐藏 的 马尔 科 夫 
ANN: SVM 模型 
粗糙 模糊 方法 贝 叶 斯 
分 类 
数据 接 掘 的 FACS 和 FAP 
特征 监测 参数 























图 10.9 ”情感 检查 的 不 同 策略 
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的 、 整 体 的 方法 ， 在 系统 和 子 系统 的 所 有 信息 ， 都 可 以 用 来 学 习 。 在 一 个 整体 的 
方式 下 贯穿 于 子 系统 的 任何 动作 和 推理 影响 有 助 于 提高 检测 精度 。 功 能 分 类 和 人情 
感 检测 决策 不 同 的 方法 如 图 10. 9 所 示 。 





10. 11 复杂 决策 问题 的 整体 视角 


考虑 如 上 谈论 的 相同 研究 案例 。 

。 决策 的 制定 考虑 到 了 影响 系统 的 不 同 参数 。 各 种 各 样 的 参数 可 以 帮助 人 
们 制定 一 个 更 好 的 机 器 学 习 系 统 ， 特 别 是 当 系 统 复 杂 时 。 

。 例如 ， 有 多 种 关于 情感 的 参数 能 帮助 为 情感 检测 构建 系统 性 视角 。 

这 些 参数 包括 : 

1. 心电图 (ECG) 

输出 和 观察 期 间 的 模式 。 这 包括 如 下 观察 量 : 

1) 心率 (HR) 、 心 搏 间 期 (IBIT) 、 心 率 变异 性 (HRV) 和 呼吸 性 塞 性 心律 
不 齐 。 

2) 情感 线索 。 

。 心率 下 降 : 放松 、 喜 悦 。 

Se 压力 、 挫 折 。 

能 存在 更 多 的 基于 模式 和 探索 构成 的 线索 。 

Re 

这 包括 光学 体积 扫描 技术 ， 它 反弹 回 皮肤 表面 的 红外 光 并 测定 反射 光 数 量 和 
手指 掌 

1) 观察 量 或 特征 是 : H 

2) 情感 线索 。 

。 增长 的 血 容量 

。 降低 的 血 容量 一 一 

3. 呼吸 (RESP) 

这 包括 胸 扩 张 的 一 个 比例 测量 、 胸 部 或 者 腹部 、 呼 吸 率 (RF) 和 相对 呼吸 








四 


血管 扩张 (收缩 )、 血 管 收缩 。 





愤怒 、 压 力 。 
悲伤 、 放 松 。 


情感 线索 。 

。 增长 的 呼吸 率 一 一 愤怒 、 喜 悦 。 

。 降低 的 呼吸 率 一 一 放松 、 狂 喜 。 

基于 所 有 这 些 参数 ， 多 种 组 合 是 可 能 的 ， 而 情感 背景 和 系统 性 学 习 也 能 成 为 
可 能 。 
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4. 温度 (周围 温度 ) : 这 包括 : 

。 皮肤 以 及 四 胶 温 度 测 定 。 

。 任何 手指 或 脚趾 的 背面 或 掌 面 。 

。 依赖 于 交感 神经 兴奋 状态 。 

。 温度 增长 : 温度 在 愤怒 时 比 快乐 时 更 高 。 类 似 的 ， 温 度 在 翡 伤 时 比 惊 讶 
或 者 厌恶 时 更 高 。 

有 了 所 有 这 些 参数 ， 全 部 的 系统 知识 就 建立 了 。 这 种 知识 容许 推断 关于 决策 
方案 系统 性 的 相关 性 信息 。 决 策 方案 可 以 有 处 于 观察 中 的 环境 。 可 能 有 如 下 
方案 : 

1) 要 发 表演 讲 的 人 ; 

2) 在 办 公 室 里 工作 的 人 ; 

3) 正在 面试 的 人 ; 

4) 正在 为 比赛 做 准备 的 人 ; 

5) 赢得 大 型 比赛 获得 奖杯 的 人 ; 

6) 和 别人 讨论 的 人 。 

以 上 这 些 参数 和 环境 一 起 为 决策 构建 了 一 个 方案 。 基 于 决策 方案 的 学 习 和 系 
统 性 参数 有 助 于 产生 更 好 的 结果 。 图 10. 10 描绘 了 情感 检测 系统 的 一 般 框架 。 














分 类 /评估 
模式 类 ( 恒 式 识别 ) 























传 感 征 选择 / 鹤 
< 识别 的 5 和 " 
一 般 框 架 
















处 理 特征 提取 




















图 10. 10 ”情感 检测 系统 决策 的 整体 视角 








正如 图 10. 10 所 展现 的 ， 每 一 个 模块 的 作用 如 下 : 

1) 模式 类 : 执行 有 监督 的 分 类 。 

2) 传 感 : 负责 在 自然 或 者 编排 情形 下 利用 传 感 带 获取 数据 。 
3) 处 理 : 实行 噪声 过 滤 、 归 一 化 、 向 上 /向 下 取样 、 分 割 。 
4) 特征 提取 : 提取 出 所 有 展现 了 传 感 的 原始 生物 信号 的 可 能 属性 。 
5) 特征 选择 /空间 减少 : 标识 在 聚 类 或 分 类 中 贡献 了 更 多 的 特征 。 
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6) 分 类 / 评 佑 〈 模 式 识 别 ) : 涉及 多 类 分 类 。 


10. 12 ”知识 表示 和 资源 查找 





知识 资源 查找 (KDD) 是 通过 数据 、 直 接 信息 、 智 能 化 的 构建 和 显示 中 提 
取 基 本 知识 。 机 器 学 习 是 人 工 智能 的 一 部 分 ， 简 言 之 是 与 机 器 和 特定 的 计算 机 相 
关 的 智能 。 知 识 发 现 过 程 是 连续 的 过 程 ， 有 助 于 通过 可 获得 的 数据 和 知识 或 者 从 
不 同 的 信息 和 知识 来 源 中 发 现 知 识 。 理 解数 据 和 问题 领域 在 知识 发 现 过 程 中 是 非 
常 重 要 的 。 由 于 计算 机 可 以 通过 数学 的 方法 来 理解 这 些 关 系 ， 它 们 通过 方案 关系 
和 数学 方法 来 应 用 人 工 智能 。 知 识 表示 是 最 重要 的 因素 之 一 。 知 识 应 该 用 可 用 的 
形式 表示 ， 应 使 用 有 效 的 学 习 组 件 。 

机 器 没有 感情 ， 但 是 通过 机 器 学 习 系 统 可 以 学 习 输入 系统 甚至 可 以 生成 系 
统 。 对 于 人 类 ， 不同 的 情感 可 以 被 假定 为 对 环境 和 决策 方案 的 不 同 的 情感 角度 和 
知识 的 感知 。 有 效 的 数据 挖掘 随 着 分 布 式 和 协同 学 习 的 发 展 ， 可 以 帮助 确定 这 些 
情感 。 整 体 的 知识 发 现 模型 根据 不 同 的 决策 方案 整合 ， 这 包括 数据 、 方 案 和 不 同 
知识 来 源 的 整个 过 程 。 

数据 挖掘 具有 广泛 的 应 用 范围 ， 使 用 算法 从 大 量 的 数据 中 提取 信息 。 为 了 通 
过 更 好 的 形式 获取 相同 的 信息 ， 机 器 学 习 通 过 知识 和 情报 在 一 个 小 的 数据 集 的 数 
据 挖掘 算法 的 版 本 上 创造 新 的 算法 。 

机 器 学 习 的 研究 ， 在 楼 宇智 能 化 产品 的 不 同 领域 提供 了 机 会 。 有 许多 的 问 
题 ， 如 应 用 多 种 分 类 器 并 选择 适当 的 学 习 策略 、 在 实际 情况 下 强化 学 习 探 索 的 能 
力 、 利 用 监督 的 多 维 动态 学 习 情境 学 习 和 使 用 复 林 的 随机 模型 开发 。 

机 器 学 习 是 一 个 科学 领域 的 编程 系统 ， 为 了 实现 自动 化 ， 通 过 经 验 、 众 多 的 
样本 、 时 间 等 来 学 习 和 训练 ， 就 和 人 类 一 样 。 由 于 其 计算 能 力 很 强 ， 结 果 可 能 会 
很 高 且 是 不 期 望 得 到 的 ， 可 以 通过 人 类 的 缺陷 得 到 。 事 实 上， 一 个 多 视角 的 方法 
本 身 就 可 以 改善 和 显示 人 类 不 可 能 达到 的 神奇 效果 ， 由 于 人 类 在 某 些 领域 的 能 
存在 极限 ， 所 以 可 以 通过 机 器 克服 。 移 动机 器 人 、 智 能 网 络 、 智 能 交通 控制 是 一 
些 应 用 机 器 学 习 能 力 的 例子 ， 这 些 应 用 程序 可 以 处 理 更 复杂 的 情况 和 学 习 出 现 的 
问题 。 移 动机 器 人 导航 基于 训练 和 先前 提供 的 经 验 ， 通 过 传感器 捕获 更 多 的 关于 
环境 的 信息 来 获得 最 适当 的 结果 。 基 本 算法 是 基于 应 用 程序 来 选择 的 ， 包 括 一 般 
的 推测 、 已 获取 的 技术 、 选 择 准 则 和 基于 学 习 与 之 后 所 设计 的 经 验 准则 的 比较 。 

目前 在 机 器 学 习 中 ， 大 部 分 工作 都 集中 于 表示 为 特征 向 量 的 例子 来 学 习 ， 每 
一 个 属性 都 是 一 个 单一 的 数字 或 符号 ， 一 个 单独 的 表 包 含 所 有 的 向 量 。 然 而 ， 许 
多 在 KDD 中 应 用 的 数据 不 是 这 种 类 型 。 例 如 ， 关 系数 据 库 通常 包含 许多 不 同 的 
关系 / 表 ， 完 成 全 球 加 盟 使 减少 上 且 不 丢失 信息 的 情况 在 计算 机 上 是 很 少 能 行 得 通 
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的 (归纳 逻辑 可 以 处 理 多 关系 数据 ,但 同时 注重 一 阶 形式 的 学 习 概 念 ， 从 而 解 
决 了 一 个 更 加 困难 的 问题 )。 万 维 网 主要 包含 文本 和 HTML ( 超 文 本 标记 语言 )， 
再 加 上 图 像 和 音频 文件 。 数 据 由 许多 传 感 铬 和 过 程 记录 ， 从 望远镜 和 地 球 遥 感 卫 
星 到 医学 和 商业 记录 ， 有 时 间 和 空间 结构 。 至 于 客户 的 行为 以 及 挖 据 其 应 用 是 许 
多 公司 关注 的 重点 ， 人 们 通过 占有 期 和 策略 的 特性 和 产品 等 方面 被 分 层次 聚集 。 
在 学 习 之 间 ， 简 单 地 将 所 有 这 些 类 型 的 数据 转换 为 属性 向 量 ， 如 果 把 今天 当成 普 
通 的 一 天 ， 可 能 会 错过 一 些 最 重要 的 模式 。 尺 管 在 每 种 情况 中 ， 都 存在 传统 拉 术 
用 于 处 理 这 些 类 型 的 数据 ,但 是 相 比 于 机 带 学 习 算 法 用 于 属性 向 量 的 情况 ， 它 们 
的 能 力 相 当 有 限 。 在 这 个 方向 上 ， 延 伸 观 念 和 机 器 学 习 技 术 有 很 大 的 延伸 余地 。 

适合 未 来 的 KDD 应 用 程序 的 机 器 学 习 系 统 应 该 能 够 连续 运转 ， 从 一 个 开放 
的 数据 流 开始 学 习 ， 并 不 断 调整 其 行为 ， 但 需要 保持 其 可 靠 性 ， 也 需要 最 低 限度 
的 人 力 监督 。 未 来 很 可 能 会 有 越 来 越 多 此 类 型 的 应 用 ， 而 不 是 常见 的 且 独 立 的 应 
用 程序 。 今 天 ， 这 一 趋势 的 早期 指标 是 中 电子 商务 网 站 ， 潜 在 地 响应 每 一 个 新 的 
用 户 ， 它 们 学 习 他 /她 的 喜好 ; 包 系 统 在 股票 市 场 自 动 交易 。 这 种 趋势 利用 分 布 
式 数据 收集 能 力 ， 在 及 时 并 不 断 适应 市 场 条 件 变化 的 企业 中 表现 明显 。 已 经 有 一 
些 研究 关于 这 种 机 咒 学 习 ， 学 习 者 必须 解决 儿 个 有 趣 的 新 问题 。 顺 利 将 新 的 相关 
数据 来 源 上 线 时 ， 应 对 其 变化 ， 如 果 它 们 不 可 用 ， 将 其 分 离 。 另 一 种 方法 是 在 学 
习 的 不 断 发 展 模式 中 ， 保 持 两 种 变化 之 间 明 显 的 区 别 : 一 些 是 简单 的 数据 积累 的 
结果 ， 并 不 断 改变 学 习 曲 线 ， 而 其 他 人 都 是 建 模 的 环境 变化 的 结 

在 KDD 应 用 中 ， 学 习 不 是 扳 立 的 过 程 。 更 典型 地 是 ， 它 必须 被 伦 入 到 一 个 
更 大 的 系统 。 通 过 解决 多 个 问题 ， 引 发 了 一 个 机 顺 学 习 的 机 会 ， 以 扩大 其 焦点 ， 
实现 其 功能 。 需 要 有 效 地 整合 学 习 算 法 与 底层 数据 库 来 创建 机 器 学 习 与 数据 库 之 
间 的 新 接口 ， 例 如 : 中 找 到 查询 类 ， 这 样 可 以 在 提供 有 助 于 学 习 的 信息 时 ， 有 效 
地 执行 操作 ; 包 找 到 高 效 完成 查询 的 学 习 方法 。 一 些 相关 的 问题 是 : 什么 类 型 的 
样品 可 以 被 有 效 支 持 ， 它 们 该 怎么 被 使 用 ? 怎么 才 可 以 使 整个 数据 库 的 单个 顺序 
扫描 得 到 最 佳 使 用 ? 这 种 迭代 过 程 的 结果 可 以 是 都 不 同 于 今日 已 知 的 查询 类 型 和 
学 习 算法 。 机 器 学 习 和 数据 库 之 间 的 界面 有 时 包含 着 为 了 学 习 目 标 使 用 在 数据 库 
中 有 用 的 元 数据 。 例 如 ， 它 们 值 的 字段 和 约束 的 定义 也 许 是 在 学 习 过 程 中 背景 知 
识 使 用 的 有 价值 的 来 源 。 

为 充分 发 挥 其 潜力 ，KDD 需要 一 个 良好 集成 的 数据 仓库 。 组 装 后 者 是 一 个 
复杂 和 费时 的 过 程 ， 但 机 带 学 习 本 里 可 用 于 部 分 自动 地 执行 它 。 例 如 ， 存 在 的 主 
要 问题 之 一 是 识别 不 同 但 相关 的 数据 库 字 段 的 对 应 关系 。 这 个 问题 可 以 在 学 习 中 
制定 。 给 定 一 个 目标 模式 1X ，Xs，…，X,| 和 这 种 数据 模式 的 例子 ， 引 用 一 
般 规 则 来 构成 成 列 。 给 定 一 个 源 架 构 1 页 ， 丈 ，…， 马 上 中 的 表 ， 目 标 是 每 个 
Y 列 作为 的 分 类 (或 无 ) ， 对 了 的 结果 可 能 约束 其 他 的 结果 。 数 据 清理 是 构建 
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数据 仓库 的 另 一 个 关键 方面 ， 提 供 了 许多 研究 机 器 学 习 的 机 会 。 

非常 大 的 数据 库 几 乎 无 一 例外 地 含有 大 量 的 噪声 和 丢失 域 。 更 显著 的 ， 噪 声 
往往 是 多 种 类 型 的 ， 并 且 其 从 数据 库 的 一 个 部 分 到 另 一 部 分 发 生 系统 的 变化 
(例如 ， 因 为 数据 是 来 自 多 源 的 ) 。 同 样 地 ， 丢 失信 息 的 原因 可 以 是 多 个 ， 并 且 
可 以 在 数据 库 内 发 生 系统 变化 。 研 究 能 使 机 器 学 习 算法 处 理 噪声 和 丢失 的 数据 是 
他 们 从 实验 室 跳 到 广泛 的 现实 世界 应 用 程序 的 主要 动力 ， 然 而 独立 实例 的 噪声 和 
丢失 的 数据 通常 是 假定 的 。 建 模 误 差 的 系统 性 来 源 和 缺失 的 信息 ， 并 找到 减少 其 
影响 的 办 法 ， 是 下 一 个 合乎 逻辑 的 步骤。 

生成 有 助 于 更 大 的 科学 或 商业 目标 的 学 习 结 果 的 需求 可 能 会 引起 以 下 研究 问 
题 : 中 要 想 办 法 更 深入 地 整合 这 些 目标 纳入 学 习 过 程 ;@) 增 加 学 习 过 程 和 客户 间 
的 通信 宽带 而 不 仅仅 单纯 提供 类 预测 的 新 实例 。 在 KDD 上 与 人 类 用 户 (专业 或 
非 专 业 ) 相互 作用 的 重要 性 为 传统 机 器 学 习 提 出 了 新 的 紧迫 的 担忧 ， 例 如 理解 
性 和 背景 知识 的 结合 。 今 天 的 多 KDD 应 用 领域 为 这 个 方向 的 新 发 展 提供 了 丰富 
的 驱动 问题 和 试验 场地 。 许 多 主要 的 应 用 领域 (如 分 子 生 物 学 、 地 球 遥 感 、 金 
融 、 市 场 营 销 、 欺 诈 检 测 ) 具有 独特 的 问题 和 特点 ， 为 它们 每 一 个 开发 机 器 学 
习 算 法 很 可 能 会 占用 越 来 越 多 的 研究 人 员 。 

至 今 ， 大 多 数 机 器 学 习 研 究 已 经 在 处 理 寻找 好 分 类 模型 的 有 限制 问题 。 这 些 
模型 通常 以 属性 向 量 形式 给 出 一 个 单一 的 、 小 型 的 、 比 较 清 晰 的 数据 集 。 这 些 属 
性 提前 定义 和 选择 ， 以 便 基 于 目标 的 学 习 。 在 这 些 情 况 下 ， 最 终 目 标 (精确 分 
类 ) 是 简单 和 明确 的 。 









































10. 13 ”组件 


机 天 学 习 更 多 的 可 以 说 是 概念 学 习 ， 这 依赖 于 已 经 开发 的 应 用 程序 。 没 有 为 
所 有 应 用 程序 设计 的 标准 算法 或 者 组 件 。 但 是 ， 在 一 般 情况 下 ， 经 验 表示 该 系统 
受到 了 相应 地 训练 。 因 此 首先 ， 必 须 学 习 概 念 学 习 及 其 组 件 ， 然 后 需要 学 习 怎 么 
训练 每 个 组 件 。 因 此 需要 学 习 选 择 不 同 统计 算法 或 者 如 何 训练 每 个 组 件 。 下 面 将 
讨论 系统 学 习 在 建筑 设计 中 的 一 个 简单 例子 。 


10. 13.1 范例 








交互 设计 的 物理 (建筑 /类 似 建 筑 ) 系统 如 图 10. 11 所 示 。 在 这 里 ， 该 系统 
具有 各 种 组 件 ， 包 括 用 户 、 环 境 和 不 同 的 子 系统 。 设 计 背 景 、 审 美 引 用 、 所 需 承 
受 的 负荷 ， 未 来 扩张 和 其 他 系统 如 农业 区 、 生 态 系统 、 路 段 方案 和 预算 拨款 的 影 
响应 该 为 每 个 探索 提供 奖励 。 一 个 物理 系统 借助 系统 性 的 智能 和 学 习 的 交互 设计 
在 图 10. 11 中 展示 ， 它 从 不 同 的 子 系统 中 获取 输入 ， 进 一 步 优 化 和 监控 允许 其 保 
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持 连 续 的 发 展 轨道 。 
















































































监测 、 i 
系统 的 实现 |” 
建筑 师 /审美 
审美 引用 
建设 决策 接口 二- 一 一 站 室内 设计 决策 

设计 内 饰 

设置 

用 户 








图 10.11 物理 系统 的 交互 式 设计 


10. 14 学习 系 统 和 智能 系统 的 未 来 


复杂 系统 的 发 展 和 综合 以 及 多 学 科 应 用 需要 系统 性 的 、 增 量 的 和 多 视角 机 絮 
学 习 。 真 正 的 智能 安全 系统 不 是 仅 限 于 明显 特征 或 者 旁边 可 用 数据 ， 而 是 整体 系 
统 行为 。 这 些 学 习 系 统 的 应 用 包括 集成 安全 系统 、 综 合 教育 系统 、 智 能 商务 决策 
系统 等 。 适 应 新 环境 和 挑战 的 能 力 是 这 些 系统 的 关键 。 学 习 系 统 必须 发 展 并 探索 
建立 更 好 的 能 力 。 和 决策 一 样 ， 特 定 决策 方案 学 习 需 要 使 用 越 来 越 多 的 可 供 使 用 
的 信息 。 适 应 未 知 和 新 方案 ， 并 能 从 有 限 信 息 中 学 习 并 能 以 多 视角 和 协作 学 习 方 
式 来 解决 复杂 决策 问题 的 真正 智能 系统 是 智能 系统 的 未 来 发 展 方向 。 

未 来 学 习 系 统 的 范式 不 是 仅仅 基于 历史 信息 和 典型 特征 的 。 这 种 范式 实际 上 
限制 了 机 器 学 习 系 统 的 可 用 性 和 智能 性 。 新 学 习 系统 的 发 展 和 设计 不 仅 能 得 体 地 
处 理 大 量 手边 信息 ， 也 能 从 经 验 中 学 习 并 超越 经 验 。 全 局 学 习 系 统 能 提供 所 需 的 
下 一 代 系统 的 平台 ， 这 个 平台 中 所 有 信息 、 推 论 和 可 用 的 自 适应 性 能 都 可 以 用 于 
适当 方案 中 的 学 习 。 除 此 之 外 ， 下 一 代 智 能 系统 将 需要 更 好 的 知识 获取 机 制 去 收 
集 知 识 和 构建 知识 。 系 统 机 器 学 习 是 关于 事件 之 外 的 学 习 、 数 据 之 外 的 推理 和 即 
时 响应 之 外 的 展开 。 高 度 复 杂 性 和 相关 性 是 系统 面 对 的 挑战 。 新 范式 和 知识 中 心 
系统 能 允许 学 习 系 统 去 面 对 这 些 挑战 以 提出 下 一 代 智 能 学 习 系 统 ， 它 能 够 从 经 验 
中 学 习 ， 高 效 利 用 知识 ， 理 解 相关 性 并 真正 帮助 建立 一 个 不 受 视觉 和 空间 边界 限 
制 的 智能 系统 。 
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10. 15 ”小 结 


本 章 提 出 了 基于 在 本 书 已 讨论 和 介绍 的 范式 所 建立 的 智能 学 习 系 统 的 概念 和 
架构 。 智 能 系统 的 焦点 是 知识 建立 、 知 识 获 取 和 基于 探索 学 习 。 学 习 是 一 个 连续 
的 过 程 ， 仪 受 决策 方案 和 数据 可 用 性 的 限制 。 超 出 数据 本 身 、 超 越 观点 的 探索 以 
及 在 时 间 尺 度 和 空间 的 推理 是 系统 机 融 学 习 所 需 的 。 不 同 的 学 习 方法 、 多 视角 学 
习 和 适应 学 习 决 定 学 习 方针 使 动态 方案 中 的 学 习 成 为 可 能 。 本 童 讨论 了 不 同学 习 
组 件 间 的 协作 和 综合 学 习 。 不 论 是 教育 系统 还 是 任何 其 他 复杂 应 用 ， 理 解 学 习 并 
改善 学 习 方针 已 经 成 为 研究 人 员 所 要 面 对 的 一 个 挑战 。 机 器 学 习 包 括 统计 学 、 心 
理学 、 计 算 机 学 科 和 系统 架构 ， 随 着 这 些 领域 的 高 复杂 性 和 巨大 的 研究 机 遇 ， 它 
在 方法 选择 方面 造成 了 一 个 真正 的 困难 ， 但 却 为 集成 研究 开辟 了 道路 。 集 成 方法 
和 系统 性 学 习 有 助 于 为 建立 下 一 代 智 能 系统 构建 基础 。 在 系统 机 器 学 习 中 ， 复 杂 
性 和 数据 将 创造 无 限 的 学 习 机 会 ， 而 不 是 通过 事件 和 不 确定 因素 限制 学 习 。 
































附 录 


附录 A 统计 学 习 方 法 
统计 学 习 方法 用 于 解决 结果 不 确定 的 问题 ， 因 此 基于 概率 的 方法 都 归 和 人 这 一 
类 ,在 附录 A 中 ， 将 讨论 统计 学 习 方 法 ， 如 概率 的 基础 知识 下 的 贝 叶 斯 分 类 。 
A.1 概率 


下 面 开 始 讨论 概率 问题 。 样 本 空间 是 所 有 可 能 的 结果 的 集合 。 定 义 样 本 空间 
的 子 集 为 事件 。 考 虑 p 作为 结果 的 概率 。 则 任意 样本 空间 $ 子 集 的 事件 “x” 的 
概率 定义 为 























wd 
P(x) = 
式 中 n(x) x 中 元 素 的 数量 ; 
n(S) 一 一 样本 空间 中 元 素 的 数量 。 
A.1.1 互 斥 事件 


当 若 干事 件 不 可 能 同时 发 生 时 ， 则 说 明 事 件 之 间 是 互 斥 的 。 这 些 事件 可 以 称 
为 独立 事件 。 互 斥 概率 的 总 和 也 是 1。 考 虑 事件 x 和 y。 
如 果 * 和 y 是 互 斥 事件 ， 则 
P(xory) =P(x) +P(y) 
A.1.2 独立 事件 
如 果 事 件 是 不 相关 的 或 者 是 不 影响 其 他 事件 的 结果 ， 则 该 事件 称 为 独立 事 
件 。 考 虑 事件 * 和 yy。 如 果 x 和 y 是 独立 事件 ， 则 概率 定义 为 
P(xandy) =P(x)P(Y) 
注 : 考虑 事件 x 和 ~x 是 互 斥 的 ， 它 们 不 是 独立 事件 。 所 以 ， 如 果 事 件 x 发 
生 ， 则 ~x 一定 发 生 。 
A.1.2.1 条 件 概率 
条 件 概率 是 统计 学 习 方 法 的 基础 。 条 件 概率 的 定义 为 事件 % 的 概率 ， 其 中 事 
件 y 已 经 发 生 ， 将 其 表示 为 P (*17y)。 
因为 事件 x 和 事件 y 并 不 是 相互 独立 的 ， 此 处 y 是 给 定 的 或 已 经 发 生 ， 因 此 
条 件 概率 计算 为 





附 录 279 


P(xly) -pe (A.1) 


可 以 推出 : 





P(xandy) =P(xly)P(y) 
因为 事件 是 独立 的 ， 给 定 y, x 的 条 件 概率 可 以 表示 为 
P(y)P(x 
P(xly) 人 ) 
因此 P(xly) =P(x)。 
1) 乘法 法 则 为 
Beandy) = pen) Pupy = pt 
2) 加 法 法 则 为 
P(xVy)=P(x) +P(y) -P(xandy) 


A.2 贝 叶 斯 分 类 


下 面 转向 讨论 贝 叶 斯 分 类 。 贝 叶 斯 分 类 属于 一 种 概率 的 统计 分 类 方法 ， 它 可 
以 根据 概率 来 预测 成 员 类 别 。 贝 叶 斯 分 类 基于 贝 叶 斯 定理 ， 将 在 下 面 的 内 容 中 进 
行 讨论 。 贝 叶 斯 定理 和 贝 叶 斯 规则 都 是 以 Thomas Bayes 命名 的 。 这 个 定理 提出 
了 条 件 概率 ， 通常 称 为 “后 验 概率 ”。 这 是 基于 先 验 概率 的 基础 上 计算 的 。 这 个 
问题 通常 是 给 出 一 些 训练 数据 来 确定 最 理想 的 假设 现象 。 

考虑 P (hh) 为 初始 概率 (h 是 一 些 假设 事件 )。 在 训练 数据 前 这 是 可 用 的 ， 
这 通常 被 称 为 的 先 验 概率 或 者 也 称 为 h 的 边际 概率 。 

P(x) 为 训练 数据 * 的 先 验 概率 。 这 里 关于 假设 的 知识 是 不 可 用 的 。 它 也 
被 称 为 x 的 边际 概率 。 

现在 ，P 〈x* 1h) 为 用 给 定 假设 观测 训练 数据 的 概率 。 







































































后 验 概率 的 计算 如 下 : 
P (hh1 x) :是 概率 ， 给 予 一 定 的 观察 训练 数据 ， 计 算 公 式 为 
P(hlx) 7 




















这 是 贝 叶 斯 定理 。 贝 叶 斯 定理 表现 条 件 概率 之 间 的 关系 。 

贝 叶 斯 学 习 有 助 于 增加 预测 到 现 有 的 知识 基础 的 概率 ， 这 将 在 新 数据 的 进 一 
步 分 类 中 起 作用 。 

贝 叶 斯 定理 的 推导 〈 建 立 在 条 件 概率 的 基础 上 ) : 

从 事件 x 和; 的 条 件 优先 级 开始 。 

从 式 (A.1) 中 给 定 y， 得 出 x 的 概率 为 
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Plaly) = pe 
同样 地 ， 给 定 *，y 的 概率 将 表示 为 
Pr = 人 
从 以 上 两 个 公式 可 得 

P(xandy) =P(x1y)P(y) = P(rls)P(s) 
因此 ， 得 到 了 贝 叶 斯 定理 ; 


P(xly) = 














P(ylx)P(x) 
P(y) 
A.2.1 朴素 贝 叶 斯 分 类 
朴素 贝 叶 斯 分 类 器 的 工作 原理 是 基于 贝 叶 斯 定理 。 在 朴素 贝 叶 斯 分 类 中 ， 视 
变量 为 独立 的 ， 所 有 的 性 质 不 会 彼此 相关 ， 因 此 用 概率 学 方法 的 分 类 结果 是 独立 
的 。 在 监督 学 习 方法 中 ,认为 朴素 贝 叶 斯 是 分 类 的 潜在 方法 。 
下 面 理解 朴素 贝 叶 斯 的 工作 原理 : 
假设 “T” 是 标记 类 的 训练 集 。 训 练 集 的 字 节 构成 di 到 d, 的 向 量 ， 表 示 为 
D=|di,d,,…,d,| 
其 中 的 属性 是 4 = |4b1,， Ab,，…，Ab,)。 
假设 现 有 的 类 是 C， 从 Ci 至 的 C，.: 
C=16C CC ,| 
现在 ， 给 定 一 个 新 的 数据 “N” 分 类 器 的 车 作 是 预测 它 所 属 的 类 。 它 可 以 
表示 为 




































































= {ndi, ndy, *…, nd,|。 
朴素 贝 叶 斯 在 “最 高 也 a 的 基础 上 预测 类 。 定 义 类 预测 为 C;， 这 
样 做 有 以 下 规则 : 














P(CilN) >PCCTNV) 
这 里 j 半 i 且 1<j<max (类 的 总 数 ) 。 
因此 ， 必 须 最 大 化 P(C;IN) 。 有 时 称 C; 这 个 类 为 “最 大 事后 假设 ”。 
通过 贝 叶 斯 有 














P(NIC,)P(C.,) 

P(N) 

由 于 P(N) 是 恒定 的 ， 因 为 它 不 依赖 于 C， 只 需要 关心 分 子 。 因 此 ， 可 以 
推 有 晰 ， 当 分 子 值 被 最 大 化 时 ， 就 得 到 了 结 

假设 类 的 边际 ( 先 验 ) 概率 不 可 用 ， 可 以 认为 P(C) =P(C) =…= 己 
(Cn) 。 

考虑 到 分 母 P(V) 的 上 述 两 个 条 件 和 类 是 不 变 的 ， 进 一 步 推断 ， 必 须 最 大 化 


P(C,IN) = 
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P(NIC,), 

如 果 有 含有 大 量 属性 的 数据 集 ， 那 么 在 计算 方面 ， 它 被 视 为 一 个 需要 研究 的 
问题 。P(N1C, ) 的 计算 将 是 高 成 本 的 风险 。 在 这 里 ， 朴 素 贝 叶 斯 的 独立 假设 将 引 
起 人 们 注意 。 考 虑 到 这 一 点 ， 可 以 得 出 ， 














P(Cil N) = 工 PCe C.) 
p=1 
= Plnd, | Cj)P(nd | C,):…P(nd, | C.,) 

计算 P(ndi1C;) 的 值 可 以 利用 现 有 的 训练 集 来 完成 。 已 经 说 过 ,属性 ndi， 
nd ，… 是 该 属性 的 实际 值 。 有 必要 决定 属性 类 别 的 类 型 。 属 性 可 以 是 : 

1) 分 类 的 或 ; 

2) 连续 的 。 

对 于 P(NIC;) 的 计算 ,分 为 两 种 情况 考虑 : 

明确 地 ，P(nd,1C;) 指 的 是 类 C; 的 元 组 的 数量 ， 除 以 1 C;，7T1 ， 这 指 的 是 
类 C, 元 组 / 套 的 总 数 。 

在 连续 值 的 情况 下 ， 需 要 考虑 高 斯 分 布 。 认 为 这 里 的 属性 是 具有 偏离 值 9 和 
平均 值 j 的 高 斯 分 布 : 

















1 一 (nd -1)2/202 
SCnd ,9) a Ch) 
然后 得 到 
Pl(nd,lC;) =g(nd, Ci, oC;) 
后 验 概 率 为 


P(C,| N) = Pp(C) I Pd, Ci) 
p=1 
因此 ， 用 上 述 规则 ， 把 新 的 数据 归 到 类 C;， 将 得 到 最 高 的 后 验 概 率 。 要 确 
定 类 N， 对 于 每 个 类 ， 需 要 评估 P(NI1C;)。 如 果 以 下 不 等 式 成 立 ， 则 标签 是 可 以 
预测 的 : 





P(NICi)P(C;) >P(NIC,)P(C,) 
这 里 7 从 1 到 最 大 值 ， 量 不 等 于 i。 
A.2.2 贝 叶 斯 分 类 器 的 优点 和 缺点 
据 发 现 ， 在 一 些 领域 ， 贝 叶 斯 分 类 器 与 决策 树 和 神经 网 络 分 类 可 以 相 媲 美 。 
但 也 有 一 些 缺 点 ， 可 用 的 概率 数据 是 相互 依赖 的 。 同 时 ， 考 虑 属性 的 独立 性 还 会 
导致 较 低 的 精度 。 尽 管 如 此 ， 贝 叶 斯 方法 提出 其 认为 合理 的 部 分 来 文 持 其 结果 。 


A.3 回归 
数值 预测 通常 指 的 是 回归 。 无 论 是 连续 的 还 是 离散 的 ， 数 值 预测 是 数值 数据 
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的 预测 。 回 归 分 析 模 型 两 种 类 型 的 变量 之 间 的 关系 ， 可 以 是 独立 的 和 依赖 的 。 独 
立 变 量 指 的 是 预测 变量 ， 其 依赖 的 是 响应 变量 。 预 测 变量 是 属性 向 量 ， 其 值 是 可 
以 提前 充分 利用 的 。 在 不 同 的 回归 技术 中 ,广泛 使 用 线性 。 下 面 讨论 这 儿 种 











技术 。 
A.3.1 线性 
有 响应 变量 : y 和 预测 变量 x 可 以 表示 其 关系 为 
y=a+bx 
这 里 a 和 4b 是 回归 系数 。 它 们 也 可 以 被 映射 为 数值 和 权 值 ， 表 示 为 
y=Vo tvVI% 


考虑 了 是 训练 集 ， 包 含 预测 变量 x ，x,，…， 和 yl ，y,，… 训 练 集 是 成 双 出 
现 的 ， 如 (xj ,71)，(wwo ,99) …x|T|, y|17T|。 利 用 x 和 y 分 别 作为 预测 方法 和 
响应 变量 来 计算 回归 系数 : 








A.3.2 非 线 性 

当 预 测 和 响应 变量 之 间 的 关系 可 以 用 一 个 多 项 式 函 数 表示 时 ， 使 用 非 线性 回 
归 。 它 也 被 称 为 多 项 式 回归 。 当 只 有 一 个 预测 变量 时 ,使 用 多 项 式 回归 ， 这 里 多 
项 式 的 形成 条 件 可 以 添加 到 线性 式 中 。 应 用 转换 方法 可 以 将 非 线 性 转换 为 线性 。 
A.3.3 回归 的 其 他 方法 

有 应 用 于 分 类 变量 的 广义 线性 回归 模型 ， 这 里 响应 变量 y 是 y 平均 值 的 函 
数 。 有 不 同类 型 的 广义 模型 ， 最 常用 的 如 下 : 

1) 逻辑 层 一 一 这 里 发 生 的 某 些 事件 的 概率 作为 预测 因子 组 成 的 线性 函数 的 
一 部 分 。 

2) 泊 松 
逻辑 层 的 。 

也 有 自然 语言 处 理 中 使 用 的 对 数 线性 模型 。 将 联合 概率 分 配给 观测 数据 集 。 
在 对 数 线性 方法 中 ， 所 有 属性 都 必须 是 无 条 件 的 。 它 可 以 运用 于 数据 压缩 技术 。 

男 一 种 方法 是 决策 树 归纳 ， 该 方法 适合 连续 值 的 预测 数据 。 树 的 类 型 是 回归 
和 模型 。 叶 节点 包含 连续 值 的 预测 ， 然 而 在 模型 树 中 ， 每 个 叶 节 点 构成 的 回归 模 
型 结果 表明 ， 回 归 和 模型 树 表 现 出 的 精度 比 线性 回归 更 精确 。 














寻求 模型 计算 ,通常 是 计算 的 对 数 。 这 里 的 概率 分 布 是 不 同 于 
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A.4 粗糙 集 


粗粮 集 被 作为 软件 计算 领域 的 基本 框架 ， 它 是 以 近似 方法 来 获得 低 成 本 解决 
方案 为 方向 的 。 这 通常 发 生 在 不 需要 精确 数据 的 情况 下 。 所 以 粗糙 集 是 用 来 获取 
有 噪声 数据 区 域 的 解决 方案 ， 数 据 的 类 型 不 属于 某 一 种 特定 的 类 型 而 是 不 同 种 类 
的 混合 类 型 ， 数 据 不 是 完全 可 用 ， 或 者 数据 量 巨大 需要 使 用 背景 知识 。 
粗糙 集 提供 用 于 发 掘 隐藏 模式 的 数学 工具 。 因 为 它们 尝试 识别 或 者 认识 隐藏 
模式 ,通常 用 于 特征 选择 和 提取 方法 。 可 以 说 ， 目 的 在 于 “知识 发 据 ”。 它 们 用 
数据 挖掘 的 方法 正 获 取 越 来 越 多 的 重要 性 信息 ， 并 对 可 蔡 代 主体 系统 进行 特定 的 
监视 。 
PawlakL21 介 绍 粗糙 集 来 表示 知识 和 发 现 数据 间 的 关系 。 在 信息 系统 中 ， 有 
对 象 的 分 类 ， 这 里 不 可 能 区 分 可 用 的 条 款 。 它 们 需要 被 粗略 地 被 限定 。 粗 糙 集 理 
论 是 基于 等 价 关 系 的 。 这 些 数据 分 割 出 等 价 类 ， 包 括 在 较 低 和 较 高 的 界限 内 的 一 
组 近似 集合 。 下 面 考虑 信息 系统 表示 方式 : 
seU, A fF 
这 里 U 是 对 象 的 非 空 有 限 集 合 ， 表 示 为 
U = {x1 ,Xo | 
4 是 非 空 的 有 限 集 的 属性 ， 这 里 V, 是 属性 a 的 值 : 
了 = Ue4y。 
是 决策 函数 ， 例 如 f(x,a) eV,， 对 于 所 有 4 中 元 素 的 a 和 U 中 的 元 素 x: 
f: UxA—V 




















A.4.1 不 可 分 辨 关系 

下 面 转向 讨论 等 价 关 系 。 如 果 二 元 关系 是 反射 性 的 、 对 称 的 和 过 渡 的 ， 则 R 
是 等 价 的 。 

所 以 RCXxX。 

对 于 任何 对 象 % 满足 xRx。 如 果 有 xRy， 则 yRx 保持 不 变 ; 如果 有 xRy 和 
yRz， 则 xRz 保持 不 变 。X 元 素 的 等 价 类 [x]r 属于 X, X 是 由 属于 x 的 y 对 象 组 
成 ， 例 如 xRy。 

使 得 IS 成 为 信息 系统 ， 则 对 于 4 的 子 集 中 的 任何 B， 有 等 价 关 系 可 以 表 
示 为 

INDs(B) = | (x,x’)eW lVaeB,a(x) =a(x’))} 

如 果 元 素 (x,x') eINDis(B)， 则 x 和 wx’ 是 不 可 分 辨 的 。B 是 不 可 分 辩 关 系 ， 
且 它 的 等 价 类 可 以 表示 为 [x]p。 

由 于 等 价 关 系 ，U 可 以 分 为 若干 分 区 ， 这 可 以 用 来 产生 新 的 集合 。 
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A.4.2 集 近 似 
考虑 用 B 作为 4 的 子 集 和 7 的 子 集 工 ， 使 得 IS 成 为 信息 系统 。 可 以 使 用 B 
的 信息 生成 上 界 和 下 界 或 者 是 近似 来 近似 。 这 里 的 上 限 和 下 限 近 似 量 是 B 下 限 
和 B 上限， 可 表示 为 BX 和 BX， 这 里 : 
BX=|xl[ [Lx]s eX| 


BX=|xIl[ [x]sNX4) 
A.4.3 边界 区 域 
边界 区 域 X 可 以 被 定义 为 
BX-BX 
U - BX 表示 在 POSs 的 负 区 域 ，BX 表示 在 POSn 的 正 区 域 。 
A.4.4 粗糙 集 和 清晰 集 
如 果 一 个 集合 的 边界 区 域 不 是 空 的 ， 则 认为 这 个 集合 是 粗糙 集 。 和 否则 称 为 清 
晰 集 。 
A.4.5 约 简 
考虑 保留 不 可 辨认 性 的 属性 ， 因 此 采取 近似 处 理 。 有 很 多 这 样 的 属性 组 和 子 
集 。 最 小 的 子 集 称 为 约 简 。 
A.4.6 可 有 可 无 和 不 可 缺少 的 属性 
如 果 有 
IND(4) =IND(4- lal) 


则 属性 a 是 不 可 缺少 的 属性 。 

因此 可 以 称 为 不 可 缺少 。 

如 果 删 除 一 个 属性 的 结果 不 一 致 ， 那 么 该 属性 是 作为 一 个 核心 ， 这 可 以 表 
示 为 





CORE,(A) =|aeA:POS(B)POS, 1 #(B)| 


A.5 支持 向 量 机 


下 面 将 讨论 支持 向 量 机 (SVM) 的 综述 : 一 个 用 于 线性 以 及 非 线性 数据 的 
分 类 方法 。 分 类 是 通过 构建 一 个 n 维 超 平面 来 完成 的 。 超 平面 将 数据 分 为 两 类 。 
超 平 面 可 以 被 认为 是 一 个 “边界 ”， 或 者 更 准确 地 说 是 区 分 对 象 的 “决策 边界 ”。 
理想 超 平 面 从 生成 的 一 组 超 平面 中 选择 。 超 平面 由 边界 和 支持 向 量 构成 支持 癌 
量 只 不 过 是 训练 集 。 使 用 支持 向 量 机 作为 核 函数 ， 并 用 于 模式 分 析 的 分 类 。 

图 A. 1 表示 多 个 超 平面 的 画 法 ,但 由 于 类 之 间 边 界 最 大 化 ， 则 超 平面 z 将 是 
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最 优 平面 。 


超 平面 y 











图 A. 1 最 优 超 平 面 选择 


参考 文献 


1. Pawlak 1982. 
2. Pawlak 1991. 


附录 B 马尔 科 夫 过 程 


B.1 马尔 科 夫 过 程 


马尔 科 夫 过 程 的 定义 : 
假设 一 个 接 一 个 进行 有 同样 结果 的 一 系列 实验 。 如 果 目 前 实验 的 多 种 结果 的 
概率 更 多 取决 于 之 前 实验 的 结果 ， 那 么 称 这 个 序列 为 马尔 科 夫 过 程 。 
在 这 种 属性 下 马尔 科 夫 过 程 1X,te 7| 是 一 个 随机 过 程 ， 由 给 定 XX, 的 值 和 s > 
1 时 已 的 值 是 不 被 w <t 时 XX 的 值 所 影响 。 换 句 话 说， 对 于 这 个 过 程 的 任何 特定 
的 未 来 行为 概率 来 说 ， 当 精确 地 知道 它 的 目前 状态 时 ， 考 虑 其 过 去 行为 情况 下 它 
是 不 会 因为 额外 知识 而 改变 的 。 
马尔 科 夫 链 的 离散 时 间 是 马尔 科 夫 过 程 ， 它 的 状态 空间 是 一 个 有 限 集 或 者 可 
并 且 它 的 时 间 〈 或 者 阶段 ) 索引 集 是 = (0，1，2，…) 。 在 通 党 情况 
马尔 科 夫 特性 是 
PIX .4 =] |X = = 
3 
这 是 对 于 所 有 的 时 间 点 和 所 有 的 状态 ij，…, 说 1， i, jo 
特定 的 公共 事业 股票 非常 稳定 ， 从 短期 看 ， 价 格 增 长 或 下 跌 的 概率 只 取决 于 


226 决策 用 强化 与 系统 性 机 器 学 习 














前 一 天 的 交易 结果 。 股 票 的 价格 是 每 天 下 午 五 点 观察 并 按照 下 跌 、 增 长 或 者 没 变 
来 记录 。 这 种 观察 的 序列 构成 了 一 个 马尔 科 夫 过 程 。 
马尔 科 夫 过 程 的 实验 是 以 规律 时 间 间 隔 实施 的 ， 并 且 有 相同 的 结果 集 。 这 些 

结果 称 为 状态 ， 并 且 当 前 实验 的 结果 被 认为 过 程 的 当前 状态 。 这 些 状 态 表 示 为 列 
和 矩阵 。 
B.1.1 案例 

考虑 如 下 问题 : XYZ 公司 是 一 个 早餐 谷物 食品 的 生产 商 ， 目 前 占有 市 场 的 
25% 份额 。 对 于 今年 ， 去 年 的 数据 预测 XYZ 公司 客户 的 88% 会 保持 支持 ， 但 是 
12% 转 到 了 竞争 者 。 男 外 ， 竞 争 者 顾客 的 85% 会 对 竞争 者 保持 支持 ， 而 另外 的 
15% 会 转 到 XYZ。 假设 这 些 趋 势 持 续 下 去 ， 判断 XYZ 公司 市 场 占 有 和 额 : 





e 两 年 后 ; 

e。 长 期 ; 

这 个 问题 是 品牌 转换 问题 的 例子 ， 这 个 问题 经 常 出 现在 日 用 消费 品 的 销 
售 中 。 


为 了 解决 这 个 问题 ， 要 利用 马尔 科 夫 链 或 者 马尔 科 夫 过 程 ( 它 是 一 个 特定 
类 型 的 随机 过 程 ) 。 步 又 如 下 。 
B.1.2 解决 步骤 

注意 到 ， 顾 客 每 年 都 会 买 XYZ 公司 或 者 竞争 者 的 谷类 食品 。 因 此 可 以 建立 
一 个 如 图 B. 1 所 示 ， 其 中 两 个 圆圈 代表 两 种 一 个 顾客 加 入 的 状态 ， 而 弧 代表 一 
个 顾客 每 年 在 状态 之 间 转 换 的 概率 。 注 意 圆 弧 象 征 了 从 一 种 状态 转换 为 同 种 状 
态 。 这 个 图 称 为 状态 转换 表 (注意 表格 里 的 所 有 弧 都 是 矢量 弧 ) 。 





购买 XYZ 公司 购 | 的 谷 


的 谷类 食品 
oC XT SA 
0.15 


图 B.1 顾客 状态 的 转换 表 





给 出 这 个 表 ， 可 以 建立 转换 矩阵 (通常 由 符号 P 表 示 )， 从 而 得 知 从 一 种 状 
态 转 换 为 另 一 种 状态 的 概率 。 设 定 : 

。 状态 1 = 顾客 购买 XYZ 公司 的 谷类 食品 
。 状态 2 = 顾客 购买 竞争 者 的 谷类 食品 
有 给 定 问 题 的 转换 矩阵 : 

转换 后 状态 1 2 

转换 前 状态 11 0. 88 0.121 

210.15 0.85| 
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注意 转换 矩阵 中 每 一 行 元 素 的 和 为 1。 还 要 注意 到 转换 矩阵 的 行 是 按照 转换 
状态 的 来 源 ， 而 列 是 去 向 。 
现在 知道 目前 XYZ 公司 占有 25% 的 市 场 。 因 此 就 有 如 下 行 矩 阵 ， 表 示 了 系 
统 的 初始 状态 : 
State 
1 2 
[0.25, 0.75] 
通常 用 s, 表示 这 个 和 矩阵， 表明 第 一 阶段 (特殊 例子 中 的 年 份 ) 的 系统 状态 。 
现在 马尔 科 夫 告诉 人 们 ， 在 阶段 (年 ) 里， 系统 状态 是 由 行 矩 阵 % 给 出 的 ， 
其 中 





si=8,1(P) =8, 2(P)(P) =… =5 (P)'™ 
在 此 必须 仔细 ， 因 为 做 的 是 抢 阵 乘法 ， 而 计算 的 顺序 是 重要 的 〈 也 就 是 9% 
(P) 通常 不 等 于 (P) s,_1)。 为 了 找 出 s,， 可 以 尝试 直接 增 大 P 了 到 1-1 次 窜 ， 
但 是 在 每 个 连续 的 年 份 1，2，3，…, 上 里 计算 系统 状态 是 更 加 容易 的 。 已 经 知 
道 在 第 一 年 的 系统 状态 〈s; ) ， 因 此 第 二 年 的 系统 状态 (s,) 是 这 样 得 来 的 : 
8 = 
=[0.25,0.75]10.88 0.12| 
10.15 0.85| 
=[ (0.25)(0.88) + (0.75)(0.15),(0.25)(0.12) +(0.75)(0.85)] 
=[0. 3325 ,0. 6675 ] 
注意 这 个 结果 产生 的 直观 感觉 。 例 如 ， 在 目前 购买 XYZ 公司 的 谷类 食品 的 
这 25% 中 ， 有 88% 会 继续 购买 ， 而 在 购买 竞争 者 谷类 食品 的 73% 中 ， 有 15% 要 
转 为 购买 XYZ 公司 的 谷类 食品 ， 这 就 得 出 了 (小数 的 ) 合计 为 (0.25) (0. 88) 
+ (0.75) (0.15) =0.3325 购买 XYZ 公司 的 谷类 食品 。 
这 样 在 两 年 后 ,将 有 33.25% 的 人 在 状态 1 里， 也 就 是 购买 XYZ 公司 的 谷类 
食品 。 要 注意 ， 作 为 一 个 数值 校 验 ，s, 的 元 素 的 和 是 1。 
三 年 后 ， 系 统 状态 如 下 : 
s3 =SP 
= [0.3325 ,0. 6675 ] 10. 88 0.12| 
10.15 0.85| 
= [0.392725 ,0. 607275 ] 
因此 三 年 后 ，39. 27% 的 人 会 购买 XYZ 公司 的 谷类 食品 。 
B.1.3 长 期 
回想 XYZ 公司 的 市 场 长 期 份额 所 引出 的 问题 。 这 意味 着 当 上 变 得 非常 大 时 
(接近 极限 ) ， 需 要 计算 s, 的 值 。 长 期 的 想法 是 基于 最 终 系统 能 够 达到 均衡 的 设 
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想 ( 常 成 为 稳固 状态 ) ， 也 就 是 s, =y 1。 这 不 是 说 状态 间 的 转换 不 发 生 ， 它 们 
发 生 ， 但 是 它们 平衡 是 为 了 使 每 个 状态 里 的 数据 保持 一 致 。 
有 两 种 基本 方法 计算 稳固 状态 : 




















。 计算 一 一 通过 计算 上 =1,，2，3，… 时 的 8 值 找 出 稳固 状态 ， 当 8 ,和 8， 
近似 相等 时 停止 。 这 对 计算 机 来 说 显然 非常 容易 ， 也 是 程序 包 使 用 的 
方法 。 

。 代数 为 了 避免 计算 +1=1，2，3，… 时 的 s, 值 所 需要 的 见长 的 算法 计 





算 ， 有 一 个 代数 捷径 可 以 使 用 。 回 想 稳 固 状 态 下 的 s,=s,_1 (= [xi， 
Xz ] ， 例 如 上 述 例子 ) 。 然 后 当 s, =s,_1P 了 时 有 
[xx ] = [xi,x 110.88 0.12| 
10.15 0.85| 
(而 且 也 要 注意 到 xi +x, =1) 这 样 有 了 三 个 可 以 解 出 来 的 方程 式 。 
现在 注意 上 面 已 经 使 用 的 假设 语 。 这 是 因为 不 是 所 有 的 系统 都 能 达到 平衡 ， 
例如 如 下 转换 矩阵 的 系统 将 永远 达 不 到 一 个 稳固 状态 : 
10 11 
11 01 
为 XYZ 公司 的 谷类 食品 例子 应 用 上 述 的 代数 方法 ， 得 到 三 个 方程 : 
%1 =0. 88X1 +0, 15x2 
%2 =0. 12x1 +0. 85x; 


wi Ww; =1 








重 排 前 两 个 方程 得 到 
0. 12x1 -0. 15x, =0 
0. 12x; -0. 15x, =0 
Wi 中 > 二 1 
这 里 要 注意 等 式 x| +x, =1 是 必须 的 。 没 有 它 ， 不 能 对 x! 和 x, 获得 一 个 唯 
一 的 情况 。 求 解 ， 得 到 xi =0.5556 和 wx, =0. 4444。 
因此 ， 在 长 期 之 下 ，XYZ 公司 的 市 场 份额 将 达到 55. 56% 。 
B.1.4 马尔 科 夫 过 程 示例 
招生 导师 软件 是 为 了 帝国 理工 学 院 (IC) 的 具体 本 科 课 程 而 对 潜在 的 学 生 
进行 分 析 的 应 用 软件 。 它 把 每 个 潜在 的 学 生 分 类 成 四 个 可 能 的 状态 其 中 之 一 : 
。 状态 1: 还 没有 申请 帝国 理工 学 院 。 
。 状态 2: 已 经 申请 了 帝国 理工 学 院 ， 但 是 校方 还 没有 决定 录取 还 是 拒绝 。 
。 状态 3: 已 经 申请 了 帝国 理工 学 院 ， 但 已 经 被 拒绝 。 
。 状态 4: 已 经 申请 了 帝国 理工 学 院 并 且 已 经 被 录取 (已 经 寄 出 录取 通知 











书 ) 。 
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在 这 年 开始 (招生 年 的 第 一 个 月 ) ， 所 有 潜在 的 学 生 都 属于 状态 1。 
她 对 近 几 年 招生 信息 的 回顾 已 经 指出 了 下 述 转换 矩阵 ， 它 是 每 个 月 状态 间 转 
换 的 概率 : 





至 1 2 3 4 

从 110.97 0.03 0 0 | 
210 0.10 0.15 0.75 | 
310 0 1 0 | 
410 0 0 1 | 





。 三 个 月 过 后 ， 百 分 之 多 少 的 潜在 学 生 将 会 被 录取 呢 ? 

。 是 否 能 实现 一 个 有 意义 的 长 期 系统 状态 呢 ? (如 果 不 能 ， 那 是 什么 原 
因 呢 ?) 

招生 导师 软件 已 经 控制 了 上 述 转换 矩阵 中 的 一 行 元 素 ， 即 第 二 行 。 

这 一 行 中 元 素 的 影响 如 下 : 

。 从 状态 2 到 状态 2 的 转换 : 每 个 月 处 理 申请 的 速度 ; 

。 从 状态 2 到 状态 3 的 转换 : 每 个 月 被 拒绝 申请 者 的 比例 ; 

。 从 状态 2 到 状态 4 的 转换 : 每 个 月 录取 的 申请 者 的 比例 。 

为 了 更 加 具体 ， 每 个 月 伊始 ， 招 生 导 师 软件 就 要 决定 那个 月 要 录取 申请 者 的 
比例 。 然 而 ， 它 被 一 个 决策 方针 约束 ， 那 就 是 在 每 个 月 的 结束 ， 被 拒绝 者 的 总 数 
不 能 超过 录取 总 数 的 1/3 ， 也 不 能 少 于 录取 总 数 的 20% 。 

进一步 分 析 显 示 ， 在 申请 帝国 理工 学 院 和 收 到 决定 (录取 或 拒绝 ) 之 间 等 
待 超过 两 个 月 的 申请 者 将 永 不 会 选择 来 帝国 理工 大 学 ， 即 便 他 们 已 经 拿 到 了 录取 
通知 书 。 

明确 这 个 问题 ， 招 生 导 师 软件 作为 一 个 线性 程序 面 对 着 每 个 月 。 对 任何 假设 
已 经 做 的 评论 一 直 也 是 这 样 做 的 。 

方案 : 

有 初 系统 状态 s, = [1, 0,，0，0] ， 而 转换 矩阵 了 为 

P=|0.97 0.03 0 0 | 
| 0 0.10 0.15 0.75 | 
| 0 0 1 0 | 
| 0 0 0 1 | 

因此 第 一 个 月 过 去 后 ， 系 统 状 态 为 $s, =s1P =[0.97,0.03,0,0]。 

两 个 月 过 后 ， 系 统 状 态 为 9 =s,P = [0. 9409 ,0. 0321 ,0. 0045 ,0. 0225 ] 。 

三 个 月 过 后 ,系统 状态 为 s4 = s3P = [0.912673 ，0. 031437 ，0. 009315 ， 
0.046575 ] 。 注 意 ， 这 里 、s， 和 $s 的 元 素 相 加 等 于 1 (正如 要 求 的 ) 。 

因此 三 个 月 后 ， 将 有 4. 6575% 的 潜在 学 生 被 录取 。 
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达成 一 个 有 意义 的 长 期 系统 状态 是 不 可 能 的 ， 因 为 招生 年 只 有 (最多) 12 











个 月 。 实 际 上 ， 招 生年 很 可 能 比 12 个 月 还 要 短 。 


至 于 线性 程序 ， 必 须 在 状态 2 (那些 已 经 申请 了 帝国 理工 学 院 但 是 校方 还 没 
有 决定 录取 还 是 拒绝 的 学 生 ) 里 辨别 一 个 申请 者 已 经 等 待 了 多 久 。 


因此 展开 状态 2 到 下 述 状态 : 
。 状态 2a 一 刚 收 到 的 新 申请 
。 状态 2b 一 一 个 月 以 前 收 到 的 新 申请 ; 








。 用 这 种 方法 ， 绝 不 会 让 一 份 新 申请 等 待 超 过 两 个 月 ， 
不 管 怎样 绝 不 会 来 帝国 理工 学 院 。 
因此 有 了 新 转换 矩阵 : 
1 2a 2b 3 4 
P= 1 10.97 0.03 0 0 0 
2a 10 0 1-X-Y X Y 
2p 10 0 0 1-7 y 
3 10 0 0 1 0 
4 10 00 0 0 | 





这 里 的 XX 是 每 个 月 对 新 收 到 申请 的 拒绝 概率 ， 而 了 是 每 
录取 概率 (这 些 是 招生 导师 的 决策 变量 ) ， 其 中 X=0, Y=0。 











这 个 范畴 的 申请 者 


A 





月 新 收 到 申请 的 


以 一 个 类 似 的 方式 ，y 是 每 个 月 里 一 个 月 以 前 收 到 的 申请 的 录取 概率 (针对 


招生 导师 的 决策 变量 ) 。 








然后 每 个 月 ， 在 这 个 月 的 开始 ， 在 状态 1、 状 态 2a、 状 态 2b、 状 态 3 和 状态 





4 的 每 一 个 状态 都 有 一 个 已 知 的 比例 。 








因此 在 每 个 月 的 月 末 针 对 (未 知 ) 比例 [za ，z ，2z2b， 


得 到 . 


和 [ 21; 22a, L2b, 23， 24] 加 





z3，Zz4 ] 的 方程 


月 初 已 知 的 比例 ] 己 ， 其 中 己 是 上 面 给 出 的 


包括 变量 X、Y 和 y 的 转换 矩阵 。 如 果 完 整地 写 出 矩阵 方程 ， 将 有 5 个 线 


性 等 式 。 另 外 ， 必 须 有 
9 1 十 2 二 220 十 的 十 的 = 
。，22b，23，24 宇 0 并 且 保险 条 件 是 : 
e 2 三 24[3 。 


® 2 三 0.2z4。 


21， 22 


这 样 ， 就 有 了 变量 [X,Y,y ,zi ,zz ,23 ,24 | 的 线性 约束 条 件 集 合 。 
一 个 适当 的 目标 函数 可 能 会 最 大 化 录取 概率 总 和 “(YY+y)， 但 是 为 了 系统 会 








提出 其 他 的 目标 。 
因此 每 个 月 要 解 出 LP 以 决定 和 、 了 和 y。 
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注解 如 下 : 

。 转换 矩阵 的 第 一 行 是 连续 贯穿 全 年 的 。 

。 这 里 不 考虑 所 有 的 任何 关于 申请 者 如 何 回应 发 给 他 们 的 通知 书 的 信息 。 
B.2 半 马 尔 科 夫 过 程 





一 个 半 马 尔 科 夫 过 程 就 是 依据 马尔 科 夫 链 改 变 状态 ,但 是 在 变化 间 消 耗 时 间 
随机 。 更 具体 地 说 ， 考 虑 一 个 状态 0，1… 时 的 随机 过 程 ， 那 就 是 无 论 什 么 时 候 
它 进 入 状态 i，i 宇 0: 中 它 将 进入 的 下 一 个 状态 是 概率 为 Pj; 的 状态 j, i, j 二 ; 多 
给 出 的 接 下 来 要 进入 的 状态 是 状态 j， 从 状态 i 转换 为 状态 j 发 生 的 时 间 已 经 分 配 
给 了 F;。 如 果 让 Z(t) 指 示 在 时 间 t 时 的 状态 , 然后 1Z (1)，t 宇 0| 就 称 为 一 个 
半 马 尔 科 夫 过 程 。 这 样 一 个 半 马 尔 科 夫 过 程 不 会 拥有 马尔 科 夫 过 程 的 属性 ， 即 给 
出 的 目前 状态 的 以 后 是 不 受过 去 约束 的 。 在 估计 以 后 的 时 候 ， 想 知道 的 不 仅 是 目 
前 状态 ， 也 包括 已 经 花费 在 那个 状态 上 的 时 长 上 。 

在 如 下 情况 里 ， 一 个 马尔 科 夫 链 就 是 一 个 半 马 尔 科 夫 过 程 : 

Fi(t)=0 1<1 
=1 tt>1 

那 就 是 ， 一 个 马尔 科 夫 链 的 所 有 转换 次 数 都 是 1。 

让 有 ;表示 半 马 尔 科 夫 过 程 在 转换 前 花 在 状态 ; 上 的 时 间 分 配 。 也 就 是 说 ， 通 
过 对 下 一 状态 的 调节 ， 可 以 看 到 : 

H(t) = 之 PE 

并 让 yi 表示 它 的 平均 值 。 也 就 是 ， 


pi; = dHi(x) 


0 

如 果 让 XX, 表示 第 n 个 访问 的 状态 ,然后 |,,n 宇 0| 是 一 个 转换 概率 为 
忆 的 马尔 科 夫 链 。 它 称 为 半 马 尔 科 夫 过 程 的 嵌入 的 马尔 科 夫 链 。 这 里 声明 ， 如 
果 向 入 的 马尔 科 夫 链 也 是 不 可 约 的 ， 这 个 半 马 尔 科 夫 过 程 是 不 可 约 的 。 

让 7; 表 示 依 次 转换 进 状态 i 的 时 间 ， 并 让 yw = EL 7; ] 。 通 过 交替 更 新 流程 
理论 的 使 用 ， 可 以 得 到 一 个 半 马 尔 科 夫 过 程 的 有 限 概率 的 表达 式 。 
B.2.1 建议 

如 果 半 马尔 科 夫 过 程 是 不 可 约 的 ， 并 且 如 果 7 以 有 限 的 意思 有 无 结构 的 分 
布 ， 然 后 





P; = limP12(i) =ilZ(0) = 省 
存在 并 且 是 不 受 初 状态 约束 的 ， 因 此 有 
Mi 
Mi 


P,= 
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B.2.2 验证 

设 定 不 论 什么 时 候 过 程 进 入 状态 i， 一 个 循环 开始 ， 设 定 当 在 系统 i 内 时 ， 
过 程 是 开始 的 ， 而 当 不 在 i 内 时 是 关闭 的 。 这 样 ， 就 有 了 一 个 交 蔡 更 新 流程 ( 当 
Z (0) i 时 延迟 )， 它 的 开始 时 间 有 分 配 不 ， 而 它 的 循环 时 间 是 7 。 
B.2.3 推论 

如 果 半 马尔 科 夫 过 程 是 不 可 约 的 ， 而 上 ; < o ， 然 后 概率 依据 表达 如 下 : 

lim 生 在 [0, 1] 间 的 时 间 量 | 
Mi - i 
也 就 是 说 ,j,i; 等 于 在 状态 i 里 的 长 期 时 间 比 例 。 
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